허깅페이스가 대규모 언어 모델(LLM)을 평가할 수 있는 오픈소스 도구 ‘라이트이벨’을 9일 공개했다.
라이트이벨은 허깅페이스가 오픈소스 LLM 평가를 위해 개발한 ‘오픈LLM리더보드’에서 활용된 기술이다. 또한 허깅페이스가 내부적으로 사용해 온 LLM 데이터 처리 라이브러리인 데이터트로브(Datatrove)와 LLM 훈련 라이브러리인 나노트론(Nanotron)과 통합된 경량화된 LLM 평가 도구다.
허깅페이스 CEO 클레망 들랑은 X(구 트위터) 계정을 통해 “평가는 AI 개발 및 활용 단계에서 핵심적인 역할을 한다”라며 “앞으로의 AI 평가 기술은 기존 벤치마크의 개선과 함께, 각 조직의 고유한 요구사항에 맞는 맞춤형 평가 지원이 필요하다”고 밝혔다. 그는 또한 “AI 평가 방식은 보다 많은 사람이 함께 참여하는 방식으로 개발돼야 한다”며 라이트이벨을 오픈소스로 공개한 배경을 설명했다. 또한 허깅페이스는 깃허브 페이지를 통해 스탠포드 대학이 개발한 LLM 벤치마크 도구인 ‘헴(Helm)’에서 영감을 받아 라이트이벨을 고도화했다고 밝혔다.
라이트이벨은 오픈소스로, 사용자가 특정 목표에 맞춰 평가 기준을 조정할 수 있다. 의료 분야의 공정성 측정이나 전자상거래의 추천 시스템 최적화 등, 각 분야에 맞게 라이트이벨을 맞춤화하여 AI 모델을 평가할 수 있다
또한 라이트이벨은 CPU, GPU, TPU 등 다양한 디바이스에서 사용 가능하며, 허깅페이스의 다른 AI 개발 도구들과 원활하게 통합된다.
IT 언론사 벤처비트는 “라이트이벨의 핵심 강점은 고급 평가 설정을 지원한다는 점”이라며 “사용자는 서로 다른 가중치, 파이프라인 병렬 처리, 또는 어댑터 기반 방법을 사용하여 모델이 어떻게 평가될지 지정할 수 있다. 이러한 유연성 덕분에 라이트이벨은 독자적인 모델을 개발하거나 대규모 시스템을 다루는 기업에게 강력한 도구로 작용할 수 있다”라고 평가했다.
dl-ciokorea@foundryco.com
