몇몇 전문가는 기업이 AI의 실질적인 이점을 얻기 위해 대규모 언어 모델(LLM)을 채택할 필요까지는 없다고 조언했다. ⓒ Get
AI를 도입할 때 때로는 작은 규모로 시작하는 것이 현명한 방법일 수 있다. AI 시장과 엔터프라이즈 AI 전략이 계속 진화하면서 최근 많은 IT 리더가 이 사실을 깨닫고 있다.
지난 1년 반 동안 새로운 AI 혁명이 진행되면서 많은 기업이 애저 오픈AI를 통해 GPT-4와 같은 대규모 언어 모델을 실험했다. 많은 기업이 솔루션을 개발하면서 마이크로소프트 코파일럿과 같은 디지털 비서의 장점을 검토해 왔다. 그러나 일부 IT 리더는 특수 목적에 맞게 구축된 소규모 언어 모델(SLM)과 기타 AI 기술도 환각을 줄이고 배포 비용을 절감하는 등의 이점을 통해 그 자리를 확립하고 있다고 언급했다.
소규모 AI의 잠재력은 대기업에서도 주목하고 있는데, 마이크로소프트는 지난 4월 Phi-3 소규모 언어 모델을 출시했으며 애플은 온디바이스로 실행되는 8개의 SLM을 출시했다.
SLM AI를 실험 중인 서비스형 컨택센터 서비스 업체 유젯(UJET)의 CTO 데이브 블록은 SLM과 기타 비LLM AI 기술이 특수한 요구 사항을 가진 조직에서 특히 응용할 곳이 많다고 말했다. SLM은 제한된 데이터 세트로 특정 기능을 수행하도록 학습시킬 수 있기 때문에 조직이 데이터 사용 방식을 더 철저히 제어할 수 있다.
낮은 진입 장벽
블록에 따르면 더 좋은 점은 SLM AI를 사용해 보는 데 드는 비용이 0에 가깝다는 것이다. LLM의 월별 라이선스 비용이나 자체 구축에 수백만 달러를 지출해야 한다는 점과 비교하면 더 그렇다.
허깅페이스는 기업이 이미 보유하고 있는 GPU를 사용하거나 공급업체로부터 GPU 성능을 대여해 특정 요구 사항에 맞게 조정할 수 있는 수십 개의 오픈소스 및 무료 AI를 제공하고 있다. LLM에서 AI 전문 지식은 아직 희귀하지만, 대부분의 소프트웨어 엔지니어가 쉽게 구할 수 있는 리소스를 사용해 자체 SLM을 학습하거나 튜닝할 수 있다고 블록은 설명했다.
그는 “게임용 PC에 이미 GPU가 있거나 클라우드에서 몇 개의 GPU를 가동해 훈련에 필요한 만큼만 사용할 수 있다. 이로 인해 진입 장벽이 매우 낮을 수 있다”라고 말했다.
기술 솔루션 통합 업체인 인사이트(Insight) 엔터프라이즈의 CTO이자 최고 데이터 책임자인 카름 타글리엔티는 고객의 약 90%가 AI 프로젝트에 LLM을 사용하고 있지만 더 작고 전문화된 모델을 선호하는 추세가 나타나고 있다고 언급했다.
타글리엔티는 AI를 실험하려는 고객에게 LLM을 추천하지만 경우에 따라서는 특정 작업을 위한 클래식 AI 도구를 권장한다면서, LLM은 문서 요약이나 마케팅 자료 작성과 같은 작업에는 적합하나 소규모 AI보다 틈새 사용 사례에 맞게 조정하기가 더 어렵고 비용이 많이 든다고 설명했다.
그는 “매우 구체적인 일련의 작업에 AI를 사용하는 경우 해당 작업이 제대로 실행되는지 테스트할 수 있다. 그러면 AI가 수플레 레시피를 만드는 것처럼 완전히 다른 작업까지 할 수는 없다는 사실에 대해 크게 걱정하지 않을 것이다”라고 말했다.
때로는 머신러닝만으로 충분
인적 자본 관리 소프트웨어 벤더인 데이포스(Dayforce)의 최고 데이터 및 AI 책임자인 데이비드 로이드는 소규모 AI 접근 방식이 효과적이었다고 언급했다.
데이포스는 여러 기능에 AI 기술을 사용하고 있다. 머신러닝(ML)을 통해 고객사 직원과 커리어 코치를 매칭하도록 지원하고 있으며, 기존 머신러닝으로 이직을 고려 중인 고객사 직원을 식별해 기업이 직원을 유지하기 위해 개입할 수 있도록 하고 있다.
로이드는 작은 모델이 훈련하기 쉬울 뿐만 아니라 직원 정보를 다룰 때 반드시 필요한 높은 수준의 데이터 통제력을 제공한다고 설명했다.
예를 들어 직원의 퇴사 위험을 살펴볼 때 데이포스에서 개발한 머신러닝 도구는 시간 경과에 따른 직원의 성과와 성과급 인상 횟수 등의 요소를 살핀다. 로이드는 “전체 직원 기반을 모델링할 때 직원들의 이동 경로를 고려하면 사실 생성형 AI가 필요하지 않다. 그렇다면 ‘생성’은 결국 실패할 수도 있다. 이 시점에서는 시간 경과에 따른 기록을 살펴보는 순환 신경망 같은 기술을 고려해야 한다”라고 진단했다.
생성형 AI는 이력서를 선별하는 데 유용할 수 있지만, 채용 프로세스가 시작되면 기존 머신러닝 모델이 채용 담당자를 지원하는 데 더 효과적이라고 로이드는 덧붙였다. 데이포스는 채용 담당자를 지원하기 위해 사람이 참여하는 머신러닝 프로세스를 활용하고 있다.
로이드는 “큰 것이 더 낫다는 개념은 잘못됐을 수 있다. 생성 측면에서 작은 모델을 살펴보면 훌륭한 전문 모델이 많다. 언어 번역에 특화된 모델, 수학에 특화된 모델, 인적 자본 관리에 특화된 모델 등이 있다”라고 말했다.
필요에 맞는 AI 구축
디지털 주택 관리 도구 업체 홈자다(HomeZada)는 특수 목적 접근 방식으로 AI를 전환한 또 다른 기업이다. 이 회사는 LLM 라이선스를 보유하고 있으며, 주택 소유주가 비용 및 기타 부동산 관련 문제를 관리할 수 있도록 6월부터 7가지 자체 AI 기능을 구축했다.
홈자다의 공동 창립자이자 CIO인 존 보드로직은 자체 홈오너 AI(Homeowner AI) 기능이 더 큰 디지털 주택 관리 플랫폼과 통합됐다고 말했다. 홈자다는 외부, 자체 및 사용자 데이터와 함께 검색 증강 생성(RAG)을 사용해 라이선스가 있는 LLM의 정확성과 신뢰도를 향상시키고 있다.
보드로직은 아무런 조정 없이 LLM을 사용하면 집의 가치나 욕실 리모델링 프로젝트 비용에 대한 일반적인 답변만 얻을 수 있다면서 “그 자체만으로 플랫폼의 모든 주택 소유자에게 심층적인 개인화 서비스를 제공하지 못하기 때문에 실질적인 가치를 줄 만큼 구체적이지 못하다. 소비자는 자신의 집과 위치를 고려한 전문성을 요구한다”라고 설명했다.
예를 들어 홈오너AI는 위치, 사용된 자재 및 기타 요인을 기반으로 주택 개선 프로젝트에 대한 예산을 생성한다. 주택 소유주는 이 AI 도구에서 사진을 사용해 주택 및 개인 자산 목록을 문서화할 수 있으며, 수리 및 주택 개선 문제를 실시간으로 진단할 수 있다. 또한 홈오너AI는 사용자의 위치를 기반으로 날씨 알림을 전송하고 기후 재해 위험 수준을 평가할 수도 있다.
보드로직은 RAG를 소규모 AI 구축과 LLM 단독 사용의 중간 지점으로 봤다. LLM은 수백만 개의 프롬프트에 대해 밀리 초 안에 답을 제공할 수 있지만, RAG로 강화된 홈오너 AI는 그렇게 빠를 필요도 없고 모든 것에 대해 전문가가 될 필요도 없다는 설명이다.
그는 “우리는 규모가 크지도 않고, 주택 소유주를 위한 자체 AI 도구를 개발할 필요성도 느끼지 못했다. 그렇게까지 실시간일 필요가 없기 때문이었다. 욕실 리모델링 비용이 얼마나 들지 몇 밀리 초 안에 응답을 얻어야 할까? 아니다. 30초 정도 기다리는 것으로 충분했다”라고 덧붙였다.
업무에 적합한 도구 선별
보드로직은 필요한 AI의 규모를 결정하려는 기업의 CIO와 최고 데이터 책임자가 이를 시작하기 전에 몇 가지 질문을 던져야 한다고 조언했다. 응답 시간, 비용, 데이터 프라이버시, 특수 요구 사항 등이 고려해야 할 요소다.
그는 “누가 AI를 사용할 것인지, 어디에서 AI를 사용할 것인지 맥락을 파악해야 한다. 특정 데이터 세트가 있는가 아니면 광범위한 데이터 세트가 있는가?”라고 물으면서, AI가 요구 사항에 맞는지 확인하기 위해 짧은 실험을 해볼 것을 제안했다. 그는 너무 많은 기업이 6개월짜리 AI 프로젝트를 시작하고 결국에는 효과가 없다는 결과를 얻는 데까지 상당한 시간과 리소스를 소비한다고 지적했다.
그는 “시작하려면 하루 동안 테스트를 실행해야 한다. 50명으로 구성된 위원회가 모두 이 문제에 대해 의견을 제시하는 대신, 5명 또는 10명으로 구성된 소규모 위원회를 만들어 3주 동안 신속하게 테스트할 수 있도록 해야 한다”라고 말했다.
데이포스의 로이드는 현재의 AI 열풍으로 인해 AI가 적합한 솔루션이 아닐 수 있는데도 서둘러 도입하는 기업이 많다고 언급했다. 그 역시 CIO가 먼저 AI로 해결할 수 있는 문제를 파악해야 한다는 점에 공감했다.
그는 “기업들이 해결하고자 하는 문제를 살펴볼 때 실제로 AI가 적용 가능한지 스스로에게 묻지 않는 것 같다. 렌치로 병을 열 수는 있겠지만 그게 최선의 접근 방식은 아니다”라고 덧붙였다.
dl-ciokorea@foundryco.com
