타입챗(TypeChat)은 타입스크립트(TypeScript)와 타입 정의를 통해 유형에 안전한 AI 모델에서 구조화된 응답을 만들어내는 오픈소스 라이브러리다.
마이크로소프트가 ‘유형(type)’ 정의를 통해 대규모 언어 모델(Large Language Models, LLM)용 자연어 인터페이스를 개발할 때 쓰는 라이브러리 ‘타입챗(TypeChat)’을 20일 공개했다.
깃허브에서 다운받을 수 있는 타입챗은 타입스크립트(TypeScript)와 생성형 AI를 사용하여 자연어, 애플리케이션 스키마 및 API를 연결하는 오픈소스 라이브러리다. 타입챗은 애플리케이션의 유형을 정의를 사용하여 각 유형에 안전한 구조화된 AI 응답을 만들어낸다.
타입챗은 마이크로소프트 기술 펠로우인 C# 및 타입스크립트 수석 개발자 앤더스 헤일스버그가 이끄는 팀이 개발했다. 개발팀에 따르면 타입챗은 자연어 인터페이스 개발 과정에 어려움을 해결할 수 있으며, 특히 복잡한 의사 결정 트리에 의존하여 의도를 파악하고 필요한 입력값을 획득해 작동하는 앱에서 활용하기 좋다.
타입챗 개발진은 타입챗이 프롬프트 엔지니어링을 스키마 엔지니어링으로 대체할 수 있다고 보고 있다. 구체적으로 살펴보면, 먼저 개발자는 타입챗을 통해 자연어 기반 애플리케이션에서 지원되는 의도를 유형으로 정의할 수 있다. 감정을 분류하는 인터페이스처럼 간단할 수도 있고, 쇼핑 카트나 음악 애플리케이션의 유형과 같이 복잡하게 정의하는 것도 가능하다.
개발자가 유형을 정의하면 타입챗 은 해당 유형을 사용하여 LLM에 대한 프롬프트를 구성하고 LLM 응답이 스키마를 준수하는지 검증한다. 유효성 검사에 실패하면 추가 언어 모델 상호 작용을 사용하여 부적합한 출력을 고쳐준다. 또한 타입챗은 인스턴스를 요약하고 사용자 의도와 일치하는지 확인한다.
깃허브 외에도 개발자는 NPM을 통해 타입챗을 설치할 수 있는데 다음과 같이 명령어를 입력하면 된다.
npm install typechat
또한 다음 명령어를 통해 소스코드에서 타입챗 빌드할 수 있다
npm run build
타입챗 개발팀은 공식 블로그를 통해 “지난 몇 달간 LLM에 대한 관심이 높아지면서 개발자들에게 필요한 기술은 다양해지고 있다”라며 ”LLM이 보통 채팅 기반 어시스턴트 애플리케이션에 적용되고 있긴 하지만, 기존 앱 인터페이스에 LLM을 통합하는 방법에 대한 논의도 늘어나고 있다”라고 설명했다.
다시 말해 자연어 인터페이스로 기존 UI를 보강하는 방법이나 AI를 사용하여 사용자 요청을 앱이 작동할 수 있는 형태로 변환하는 방법 등에 대한 논의가 많아지고 있다는 것이다. 타입챗 개발진은 이런 문제의 해결책으로 타입챗이 활용되기를 기대하고 있다.
dl-ciokorea@foundryco.com
