서비스나우가 내부적으로 사용해온 AI 모델 훈련용 라이브러리'패스트LLM(Fast-LLM)'을 오픈소스로 10일 공개했다.
서비스나우는 공식 블로그를 통해 “LLM을 훈련하는 것은 하드웨어, 데이터셋, 인력 등 막대한 자원이 요구되고 있다”라며 “더 많은 기관과 연구자들이 자체 모델 훈련을 시도하면서, AI 연구 및 개발 커뮤니티는 운영 비용 및 환경 비용을 낮추면서 책임감 있는 모델 훈련을 돕는 프로그램이 필요한 상태”라며 패스트LLM 개발 배경을 소개했다.
서비스나우에 따르면, 패스트LLM은 커널 효율성 및 메모리 사용을 최적화하면 훈련 시간과 비용을 최소화할 수 있다. 3D 병렬 처리(데이터, 텐서, 파이프라인)를 사용해 다중 GPU 및 노드에서 분산 훈련을 지원하면서 높은 확장성을 가진다. 여기에 사전 빌드된 도커 이미지로 신속한 배포가 가능하며, 간단한 YAML 구성 파일로 편리하게 설정할 수 있는 등 간편하게 사용할 수 있다.
파이토치와 트리톤 기반으로 개발된 패스트LLM은 1B에서 70B 이상의 매개변수를 가진 모델까지 훈련할 수 있다. 또한 고급 병렬 처리 기술을 적용해 최적화된 성능을 제공하며, 대규모 연속 사전 훈련과 미세 조정 작업에 모두 활용 가능하다. GPT 계열 언어 모델에 대한 통합된 지원도 제공된다. 서비스나우는 허깅페이스, 엔비디아와 협력해 개발한 LLM 스타코더의 후속 버전 훈련에 패스트LLM을 활용했다고 설명하기도 했다.
서비스나우 리서치 부문 니콜라스 샤파도스 부사장은 “패스트LLM로 기업은 AI 훈련 과정에서 최대 20% 효율성을 높일 수 있으며, 이를 통해 훈련 비용과 시간, CO2 배출량을 크게 줄일 수 있을 것”이라며 “수백만 달러가 소요되는 훈련 작업과 대규모 컴퓨팅 클러스터 운영에서 20%의 절감은 매우 중요한 차이를 만들 수 있다”고 밝혔다.
아파치 2.0 라이선스로 공개된 패스트LLM은 공식 깃허브 페이지를 통해 이용할 수 있다.
jihyun.lee@foundryco.com
