허깅페이스에서 운영하는 ‘Open-Ko-LLM 리더보드’에서 아이브릭스가 자체 개발한 대규모 언어모델(LLM) '세레브로'(Cerebro)가 1위를 달성했다고 아이브릭스가 24일 밝혔다.
‘Open-Ko-LLM 리더보드’는 한국어 LLM 모델 성능을 평가하는 벤치마크로, △추론능력 △상식능력 △언어 이해 종합능력 △환각현상 방지능력 △한국어 상식생성능력 등 5가지 기준으로 평가해 순위를 매긴다.
현재까지 약 1,713개의 언어모델이 참여한 이 리더보드에서 아이브릭스의 언어모델 ‘세레브로-BM-솔라'(Cerebro-BM-solar)가 평균 71.09점으로 1위를 차지했다. 특히 환각현상 방지능력(Ko-TruthfulQA)과 상식능력(Ko-HellaSwag) 부문의 점수는 각각 86.02점, 81.18점으로 매우 높은 평가를 받았다고 회사 측은 강조했다.
세레브로-BM-솔라는 두 개의 SOLAR 언어모델을 ‘머지'(Gradient Slerp)하고 파인튜닝해 개발된 모델이다. 매개변수 107억 개의 적은 파라미터로도 뛰어난 성능을 보여줌으로써 경제성까지 입증했다는 설명이다.
아이브릭스 박호진 연구소장은 “이번 1위 달성은 지난 몇 년간 자체 LLM을 개발하면서 쌓인 노하우들이 큰 도움이 됐다”라며 “특히 Open-Ko-LLM 리더보드에서의 1위는 한국어 AI 경쟁력을 입증하는 계기로, 앞으로도 뛰어난 기술력을 바탕으로 한국형 LLM 모델 연구 개발에 매진해 더 혁신적인 모델을 선보이겠다”라고 말했다. dl-ciokorea@foundryco.com
