API 관리 및 모니터링 전문 기술 업체 콩이 LLM 개발에 특화된 API 플러그인을 오픈소스로 공개한다고 15일 밝혔다.
이번에 새롭게 추가한 오픈 소스 AI 플러그인은 6가지로 ▲AI 프록시 ▲AI 요청/응답 트랜스포머 ▲AI 프롬프트 가드 ▲AI 프롬프트 템플릿 ▲AI 프롬프트 데코레이터가 있다. 그중 AI 프록시 플러그인을 이용하면 동일한 API 인터페이스를 사용하여 클라우드 또는 자체 호스팅에서 여러 LLM 구현을 사용할 수 있다. 콩에 따르면, 해당 플러그인은 오픈AI, 애저 AI, 코히어, 앤트로픽, 미스트랄, 메타의 모델을 지원하며, 사용 방법을 표준화하여 애플리케이션 코드를 변경할 필요 없이 ‘스위치 한 번’으로 LLM 간에 쉽게 전환할 수 있다.
이외에도 중앙에서 AI 자격 증명 관리하거나 프롬프트 승인 규칙을 설정할 때 새로운 플러그인을 활용할 수 있다. AI가 해야 할 일이나 하지 말아야 할 일에 대한 컨텍스트를 설정하고 요청과 응답을 해석하는 규칙을 지정하는 기능도 새로운 플러그인에서 제공한다.
콩은 “새로운 플러그인은 하나 이상의 LLM을 제품에 통합할 때 특히 유용하며 이를 통해 생산성이 높아지고 AI 기능을 더 빠르게 출시할 수 있을 것”이라며 “아키텍트와 플랫폼 팀에게는 팀이 보내는 모든 AI 요청에 대한 가시성, 제어 및 규정 준수를 보장하는 데도 유용하다”라고 설명했다.
jihyun_lee@idg.co.kr
