캘리포니아대학교 샌디에이고(UCSD)는 오픈소스 오케스트레이션 플랫폼과 여러 LLM을 결합한 AI 어시스턴트인 트리톤GPT(TritonGPT)를 바탕으로 폭넓은 활용 기회를 제공하고 있다.
UCSD 총장 프라딥 코슬라는 상용 AI 솔루션이 확산됨에 따라 대학 IT팀에 혁신적인 대안을 탐색할 것을 요청했다. 이에 뛰어난 연구진이 모인 교내 슈퍼컴퓨터 센터(SDSC) 팀은 직원들의 업무 효율성을 높일 수 있는, 로컬에서 운영 가능한 저비용 언어 모델을 개발하는 임무를 맡았다. 프로젝트 총괄인 UCSD AI·데이터·디지털전환 총괄 전무이사 브렛 폴락은 “생성형 AI를 통해 행정 워크플로우를 간소화하고 기관이 보유한 지식에 접근하는 데 따르는 불편을 최소화하는 것이 목표였다”라고 설명했다.
이 도구를 개발하던 시기, UCSD는 교직원들이 개인적으로 실험 중인 생성형 AI 프로젝트를 공유하고 시연할 수 있는 커뮤니티(community of practice)를 출범했다. 폴락은 “이 모임을 통해 오닉스(Onyx)라는 기업이 제공하는 오픈소스 오케스트레이션 플랫폼을 발견했다”라며 “이 플랫폼은 커넥터를 통해 우리 기관 데이터를 LLM과 연결할 수 있었다. 이를 활용해 ‘컨플루언스(Confluence)’라는 지식 베이스에서 정보를 불러와 서비스 데스크 문의에 답변하도록 만들었다”라고 말했다.
UCSD의 서비스 데스크는 전통적으로 학생 직원이 담당하며, 사용자 문의에 응답하기 위해 상당한 교육을 받는다. 다만 기존에 서비스 데스크가 모든 질문에 실시간으로 답변하기란 현실적으로 불가능했다. 폴락은 “지식베이스를 LLM과 연결하자 학생 직원들이 고객을 훨씬 더 효과적으로 지원할 수 있었다”라고 설명했다.
트리톤GPT 개발
이 경험을 계기로 UCSD는 LLM 활용 범위를 다른 지식 저장소로 확대했고, 그 결과 다양한 주제에 걸쳐 정보를 제공하는 UCSD 전용 AI 어시스턴트 모음인 트리톤GPT가 탄생했다.
트리톤GPT 개발은 2023년 6월에 시작됐으며, 같은 해 10월에 약 400명의 행정 직원을 대상으로 시범 운영을 진행했다. 이후 사용자 피드백을 반영해, 2024년 봄 공식 출시 전 모든 직원이 기본적인 AI 활용 역량을 갖추고 제대로 사용할 수 있도록 AI 기초 교육 과정을 마련했다. 이 프로젝트를 바탕으로 UCSD는 올해 CIO 100 어워드를 수상했다.
폴락은 “초기에는 사람들이 트리톤GPT를 단순한 검색 엔진처럼 사용했다. 그래서 사람과 대화하듯 프롬프트를 작성하고 질문하는 법을 교육하는 것이 중요했다”라고 말했다.
그에 따르면 트리톤GPT에는 일반적인 AI 지원 기능뿐 아니라 채용 공고 작성처럼 특정 업무를 지원하는 맞춤형 어시스턴트도 포함돼 있다. 폴락은 “채용 공고 작성은 채용 담당자들에게 큰 부담이었는데, 이 도구를 통해 면접 질문 구성, 채용 정보 게시 같은 작업을 자동화해 채용 프로세스 개선에 도움을 줬다”라고 설명했다.
또한 트리톤GPT는 계약 검토 속도 향상에도 효과를 보였다. 폴락은 “우리 기관은 다른 대학이나 외부 기관과 진행하는 연구에 따라 비밀유지계약(NDA)을 체결해야 한다. 각 계약서를 읽고 검토하는 과정은 매우 시간이 많이 걸리지만, 여기에 AI를 도입하면서 계약 검토에 소요되는 시간을 60% 줄였다”라고 말했다.
진화하는 솔루션
이 플랫폼은 초기에 메타의 라마(Llama) 모델만을 기반으로 했지만, 폴락과 그의 팀은 다양한 상용 모델을 트리톤GPT에 통합하는 것이 더 가치 있을 것이라고 판단했다. 그는 “시간이 지나면서 사람들이 여러 상용 솔루션 사용에 익숙해졌다. UCSD의 데이터를 내부에 안전하게 보관하면서도 사용자가 솔루션을 적극 활용하도록 하려면, API를 통해 다양한 모델을 전환할 수 있는 선택권을 제공해야 했다”라고 설명했다.
현재와 같이 예산 압박이 심해져 미국 전역의 대학들이 지출을 줄이고, 일부는 직원 감축까지 나서는 상황에서는 더 효율적으로 일하는 방법을 찾는 것이 핵심이다. 전반적인 효율성을 높이는 한 가지 방법은 전문가와 협력해 자동화 활용 사례를 발굴하고, 부서별 프로세스를 간소화하도록 돕는 것이다. 폴락은 “일부 직원은 기술에 의해 대체될 것을 우려해 이런 도구 도입을 꺼리기도 했다. 그래서 무엇을 달성하려 하는지에 대해 많은 교육이 필요했다. 점차 사람들도 뒤처지지 않으려면 변화에 적응해야 한다는 사실을 깨닫고 있다”라고 말했다.
새로운 사용례 발굴
현재 트리톤GPT는 UCSD의 교직원 3만8,000명이 사용하고 있다. UCSD는 샌디에이고주립대(SDSU), 캘리포니아주립대(CSU) 본부, UC 버클리, 샌디에이고 커뮤니티 칼리지 등 다른 대학에도 이 플랫폼을 개방해, 샌디에이고 지역 전역의 대학생들이 활용할 수 있도록 범위를 넓히고 있다.
폴락은 “현재는 학생들에게 트리톤GPT 접근 권한을 부여하고, 학생용 AI 어시스턴트를 제공할 준비를 마쳤다. 이미 12명의 교수진이 참여해, 가상 티칭 어시스턴트 역할을 하는 수업 보조 봇을 시범 운영 중”이라고 말했다. 그는 교직원 및 학생들이 AI 도구 사용에 익숙해지면, 시스템 내에서 어시스턴트와 에이전트를 직접 만들 수 있는 권한을 민주화하고 싶다고 밝혔다. 폴락은 “노코드 도구로 사용자가 자신의 로컬 콘텐츠나 맥락을 반영해 개인·팀·부서별 맞춤형 어시스턴트를 만들 수 있도록 지원하는 것이 새로운 목표”라고 설명했다.
dl-ciokorea@foundryco.com
