“한국어 작업에 특화”··· 올거나이즈, 라마3 기반 LLM ‘알파-인스트럭트’ 출시

올거나이즈의 알파-인스트럭트 모델은 메타의 오픈소스 LLM인 ‘라마3’를 기반으로 제작된 파라미터(매개변수) 8B(80억) 규모의 경량 LLM이다. 한국어 라마3를 개량한 모델과 지시사항을 따르는데 특화된 라마3의 인스트럭트 모델을 병합하는 방식으로 제작됐다. 이와 함께 보편적인 답변 선호도를 반영한 지시사항 데이터셋 2000개를 추가 학습시킴으로써 동일 대답 반복, 불필요한 영어 대답 등의 오류를 최소화했다고 회사는 설명했다.

그 결과 한국어 이해도가 높아 문서 생성 및 요약 등의 업무에 차별성을 갖췄다.  한국어 언어모델의 다분야 사고력을 측정하는 ‘Logickor’ 리더보드에서 높은 점수를 기록했다고 회사는 전했다. 

한편 이번 알파-인스트럭트 모델을 오픈소스로 공개됐다. 올거나이즈의 알리 플랫폼 내에서 알파-인스트럭트 모델을 사용할 수도 있으며, 기업 맞춤형 특화모델로 파인튜닝하거나 LLM을 내부 데이터에 연결해서 검색증강생성(RAG) 솔루션과 자유롭게 결합해 활용할 수 있다.

올거나이즈의 이창수 대표는 “완성도 높은 한국어 모델을 만들기 위해 공들여 데이터셋을 구성하고, 다양한 방법론들에 대한 수많은 테스트를 거침으로써 극히 적은 리소스만으로 성능 좋은 모델을 만들 수 있었다”라고 밝혔다. dl-ciokorea@foundryco.com