메타에서 발표한 ‘라마3.1’과 미스트랄 AI에서 발표한 ‘미스트랄 라지(Mistral Large) 2’ 등 최신 오픈소스 거대언어모델(LLM)을 왓슨x.ai에서 제공한다고 한국IBM이 1일 밝혔다. 이로써 왓슨x 사용 기업들은 IBM 그래니트(Granite), 라마 3.1, 미스트랄 라지 2 등의 오픈소스 AI 모델을 필요에 따라 자유롭게 선택하고 맞춤화해 사용할 수 있다는 설명이다.
라마 3.1은 각각 80억 개(8B), 700억 개(70B), 4050억 개(405B)의 매개변수를 가진 사전 학습된 오픈소스 생성형 AI 모델들로 구성된다.
특히 현재 사용 가능한 가장 크고 강력한 오픈소스 언어 모델로 평가받고 있는 라마 3.1-405B 모델은 한번에 처리할 수 있는 문맥의 길이가 토큰 8,192개에서 12만 8,000개로 16배 늘어났다. 이는 약 8만 5,000 영어 단어에 해당하며, 오픈AI의 GPT-4o와 같은 시장에서 우수한 독점적 모델들과 비교해 뒤지지 않는 성능을 보여주는 것으로 알려져 있다.
강력한 성능을 제공하는 405B 모델은 추론 및 텍스트 생성과 같은 일반적인 AI 활용 사례 외에도 AI의 사전 학습이나 미세 조정을 위한 합성 데이터 생성 및 더 작은 모델로 만드는 지식 증류와 같은 작업에도 사용할 수 있다.
1,230억 개의 매개변수를 가진 미스트랄 라지 2는 코딩과 수학 부문에서 뛰어난 성능을 발휘, 80가지가 넘는 코딩 언어를 지원하며, 오픈AI의 GPT-4o, 앤트로픽(Anthropic)의 클로드 3 오푸스, 메타 라마 3.1 405B와 같은 최신 모델과 동등한 수준의 성능을 제공한다. 아울러 향상된 추론 능력을 통해 환각 현상을 최소화한 것이 특징이다.
IBM은 기업에서 AI 모델을 선택할 때는 고려해야 하는 다양한 요소가 존재하기 때문에 성능이 좋은 범용 모델을 선택하는 것이 정답이 아닐 수 있다고 설명했다.
예를 들어, 일반적으로 매개변수의 크기가 더 크고 유능한 모델은 사용하는 데 더 많은 비용이 들고, 모델 정확도가 증가하면 속도가 느려질 수 있다. 이에 비해 크기는 작지만 특정 환경에 미세 조정된 모델의 경우, 그 환경 내에서는 크기가 큰 모델 대비 속도가 더 빠르고 비용이 획기적으로 적게 들면서도 뛰어난 성능을 낼 수 있다. 따라서, 기업의 용도에 맞는 이상적인 모델을 선택하는 것이 필요하다.
IBM 왓슨x는 사내 서버, 퍼블릭, 프라이빗, 하이브리드 클라우드 등 기업이 선호하는 인프라 환경에서 모델을 활용할 수 있게 한다. 또 AI를 활용한 비즈니스 애플리케이션을 쉽게 개발하고, 모든 데이터 소스를 관리하고, 용도에 맞는 미세 조정, 기업에서 사용하는 애플리케이션과의 통합을 위한 직관적인 업무 프로세스를 구축하는 것이 하나의 플랫폼에서 가능하도록 지원한다.
한편, 미스트랄 라지 2 모델은 기업에서 상업적으로 사용하려면 미스트랄 AI에 ‘미스트랄 커머셜 라이선스’을 요청해야 하지만, IBM 왓슨x에서는 상업적 목적으로도 자유롭게 사용할 수 있다고 IBM은 밝혔다. dl-ciokorea@foundryco.com
