에이전틱 AI 도구 개발은 지나치게 복잡한 작업일 수 있다. 대다수 조직에게 그렇다.
에이전틱 AI는 사람의 개입 없이 조직 내에서 특정 기능을 실행하도록 설계된 기술의 한 형태다. 비즈니스 워크플로우를 자동화하고, 인간 작업자의 생산성을 높이고, 생성형 AI로부터 가치를 창출하려는 움직임이 활발해지면서 주목받고 있다.
-> ROI 높이는 비즈니스 운영 도우미 ‘에이전턱 AI’가 온다
-> 칼럼 | 생성형 AI 에이전트 ‘에이전틱 AI’에 거는 기대포레스터는 올해 떠오르는 10대 기술 중 하나로 AI 에이전트를 선정했다. 그러면서도 이를 도입하는 데 집중하는 기업들에게 경고의 메시지를 전했다. 혼자서는 안 된다는 것이다. 포레스터의 2025년 AI 전망에 따르면 자체적으로 AI 에이전트를 구축하려는 조직의 4분의 3이 실패하게 된다.
자체 AI 에이전트 구축에 실패한 기업은 외부 AI 컨설팅 회사에 의뢰하여 맞춤형 에이전트를 구축하거나 현재 사용 중인 공급업체의 소프트웨어에 내장된 에이전트를 사용하게 될 것이라고 포레스터의 야예시 차우라시아와 수다 마헤슈와리 애널리스트는 예상했다.
“현명한 기업들은 현재의 한계를 파악하고 공급업체 및 시스템 통합업체 파트너를 통해 최첨단 기술을 기반으로 에이전트를 구축할 것”이라며, AI 에이전트를 구축하는 것은 복잡한 과정이며, 많은 조직에서 이 작업을 완료할 수 있는 AI 전문 인력을 사내에 보유하고 있지 않다고 이들은 전했다.
차우라시아와 마헤슈와리는 “기업들이 기본적인 작업을 넘어 더 복잡한 작업으로 생성형 AI를 활용하려 함에 따라 에이전틱 AI가 대세로 떠오르고 있다”라며, “문제는 이러한 아키텍처가 복잡하기 때문에 여러 모델, 고급 RAG(검색 증강 생성) 스택, 고급 데이터 아키텍처, 전문 지식이 필요하다는 점이다”라고 덧붙였다.
또한 에이전틱 AI의 역량은 아직 초기 단계에 불과하다는 진단이다. 차우라시아와 마헤슈와리는 “부풀려진 자동화 기대치를 충족하기까지는 2년이 더 걸릴 수 있다”라고 말했다.
DIY 에이전트 AI의 가치
그럼에도 불구하고 일부 기업은 DIY 접근 방식에 주목한다. 비디오 마케팅에 중점을 둔 소프트웨어 개발사인 골드캐스트(Goldcast)는 다양한 작업을 지원하기 위해 12개의 오픈소스 AI 모델을 실험해 왔다고 이 회사의 제품 책임자인 로렌 크리든은 전했다.
예를 들어, 골드캐스트는 한 AI 모델을 사용하여 동영상을 전사하고, 다른 모델은 동영상을 기반으로 블로그 게시물을 작성하며, 세 번째 모델은 소셜 미디어 게시물을 작성하고, 네 번째 모델은 얼굴 인식을 통해 동영상 속 인물을 식별하는 데 사용한다. 골드캐스트의 목표는 이러한 모든 AI 모델을 연결하여 사람의 지시 없이도 주어진 작업을 수행하는 에이전트로 전환하는 것이다.
즉 골드캐스트는 여러 AI 모델에 걸쳐 사용 사례와 워크플로우에 맞게 특정 기능을 사용했다. 이 회사는 자체적인 개별 AI 모델을 구축하는 대신 이러한 오픈소스 AI의 힘을 활용하고 있다.
크리든은 오픈소스 모델을 기반으로 구축하는 것이 AI 에이전트를 처음부터 만드는 것보다 에이전트 AI의 성능을 더 효율적으로 활용할 수 있는 방법이라고 설명했다.
그녀는 “AI를 박사 학위를 가진 사람만 다룰 수 있는 어렵고 전문적인 분야로 생각하지 않았으면 한다. 더 많은 인력과 팀들이 AI를 활용할수록 비즈니스 운영뿐만 아니라 고객에게도 더 나은 결과를 가져올 수 있다”라고 말했다.
하지만 크리든은 AI 에이전트 구축이 복잡한 프로세스가 될 수 있다는 포레스터의 진단에 동의한다. 조직은 높은 수준의 ML옵스 계획이 필요하며, 일부 기업은 이를 자체적으로 수행할 수 있는 전문성을 갖추지 못할 수도 있다고 그녀는 말했다.
다양한 오픈소스 모델을 가져와 워크플로에서 함께 조합해야 하며, 대부분의 경우 조직은 AI 에이전트를 설정하기 위해 외부 전문가에게 도움을 요청해야 한다는 진단이다.
하지만 건설 및 관련 산업을 위한 데이터 분석 제공업체인 슬레이트 테크놀로지(Slate Technologies)의 CTO 겸 AI 책임자 센틸 쿠마르는 직접 구축하는 것도 가능하다고 전했다. 슬레이트 테크놀로지는 3년 전 챗GPT 출시로 AI 붐이 일기 전부터 자체 AI 에이전트를 출시하기 시작했다. 쿠마르는 “몇 년 전만 해도 동경의 대상이었던 기술이 현실화되고 있다”고 말했다.
그에 따르면 이제 여러 LLM AI를 사용할 수 있으므로 스마트한 기업은 이를 실험하고 특정 요구 사항에 따라 자율 에이전트를 훈련할 수 있는 상황이다. “우리는 거인들의 어깨 위에 서서 이 분야에서 다른 사람들의 경험을 통해 배울 수 있는 행운을 누리고 있다. 하나의 [AI 모델]로 시작하여 그 행동을 조정할 수 있다. 기업은 외부의 컨설턴트보다 자신이 에코시스템을 훨씬 더 잘 알기 마련이다”라고 말했다.
인간과 함께
성공적인 AI 에이전트를 구축하기 위한 한 가지 핵심은 사람의 감독이며, 이는 에이전트가 자율적으로 작동하도록 구축된 경우에도 예외가 아니다. AI 에이전트를 구축하고 실행한 다음 방치하면 안 되며, 결과를 확인하고 지속적으로 개선할 방법을 찾을 필요가 있다.
쿠마르는 “전체 AI 생태계와 인간 생태계 간의 협력적인 진화 과정이어야 한다. 에이전트의 학습 방법, 에이전트의 지식 습득, 에이전트가 지식을 전파할 수 있는 방법에 초점을 맞춰야 한다”라고 말했다.
그러나 많은 기업에서 자체 AI 에이전트를 구축할지 컨설턴트와 협력할지 결정하기란 쉬운 일이 아니다. AI 기반 시장 정보 회사인 알파센스(AlphaSense)의 AI 책임자인 크리스 애커슨은 대기업들의 경우 자체적으로 고도로 맞춤화된 에이전트를 구축하려는 유혹을 받을 수 있지만, 파편화된 내부 데이터, 필요한 리소스의 과소평가, 사내 전문성 부족으로 인해 어려움을 겪을 수 있다고 강조했다.
애커슨은 “성공하는 일부가 있기도 하지만 이러한 프로젝트는 비용과 복잡성 측면에서 통제 불능 상태가 되는 경우가 흔하다. 많은 경우 신뢰할 수 있는 파트너로부터 솔루션을 구매하면 개척자의 함정에 빠지지 않을 수 있다”라고 말했다.
알파센스는 자체적으로 AI 에이전트를 훈련시켰지만 많은 기업의 경우 내부 전문 역량이 부족하며, 개발 이후 지속적인 유지보수 비용을 간과하는 경우가 많다고 그는 덧붙였다.
애커슨은 “장기적인 기능을 보장하기 위해 지속적인 업데이트, 모니터링, 최적화가 필요하다. 복잡하고 리소스 집약적인 AI 시스템 유지보수는 큰 비용을 요구할 수 있다”라고 말했다.
그에 따르면 AI 제공업체와의 파트너십을 통해 기업은 수천 명의 사용자가 테스트하고 개선한 검증된 기성 에이전트를 이용할 수 있다. “구현이 더 빠르고 리소스 집약적이며 지속적인 업데이트와 지원이라는 추가적인 혜택이 제공되므로 기업은 비즈니스의 다른 중요한 영역에 집중할 수 있다”라고 그는 말했다.
파트너의 가치
디지털 트랜스포메이션 벤더 UST의 수석 AI 아키텍트인 아드난 마수드는 다수의 조직에서 자체적으로 AI 에이전트를 교육할 필요가 없다고 단언했다. “에이전트 AI 아키텍처와 같은 복잡한 시스템에서 바퀴를 재발명하는 것은 정말 나쁜 생각이다. 이러한 아키텍처는 본질적으로 복잡하고 다양한 구성 요소가 관련되어 있다”라고 그는 말했다.
일례로 에이전틱 AI 시스템에서 강력한 메모리 관리 구현은 주요 과제 중 하나다. 정보 저장 및 검색을 넘어 컨텍스트를 지능적으로 관리하고, 과거 상호 작용의 관련성을 파악하고, 진화하는 지식 기반을 기반으로 AI의 응답을 동적으로 조정하는 작업이 요구된다.
또한 처음부터 에이전트 AI를 구축하려면 복잡한 데이터 구조를 설계하고 효율적인 검색 알고리즘을 구현하며 정보를 해석하고 우선순위를 정하는 AI의 능력을 미세 조정해야 한다고 그는 덧붙였다. 이를 위해서는 조직이 머신러닝, 자연어 처리, 데이터 엔지니어링에 대한 전문성을 갖춰야 한다.
마수드는 “전문가에게 의뢰하거나 사전 구축된 솔루션을 채택하거나 오픈소스 생태계를 활용하면 이미 이러한 과제를 해결한 사람들의 전문성과 경험을 활용할 수 있어 궁극적으로 성공 가능성을 높일 수 있다”라고 말했다. dl-ciokorea@foundryco.com
