데이터브릭스가 생성형 AI 앱 개발 지원을 위해 모자이크 AI 기능을 추가했다.
데이터브릭스는 새로운 모자이크 AI 기능을 추가해 생성형 AI 애플리케이션을 구축하는 기업에 더 많은 지원을 제공하겠다고 12일 밝혔다.
데이터브릭스는 연례 컨퍼런스인 ‘데이터+AI 서밋’에서 모자이크ML 기술을 기반으로 한 새로운 AI 기능을 공개했다. 모자이크ML는 데이터브릭스가 지난해 13억 달러를 투자해 인수한 기업이다. 새로운 기능으로 고객은 생성형 AI 애플리케이션에 필요한 데이터 학습 및 관리 과정을 보다 간소화할 수 있다.
생성형 AI 앱 개발을 돕는 모자이크 AI 에이전트 프레임워크
프리뷰 버전으로 새로 출시된 ‘모자이크 AI 에이전트 프레임워크’는 생성형 AI 애플리케이션 개발을 돕는 서비스다. 업계 애널리스트는 데이터브릭스 사용자가 과거에는 다양한 도구와 라이브러리를 조합하여 RAG를 구축할 수 있었지만, 모자이크 AI 에이전트 프레임워크로 보다 데이터브릭스 인프라 안에서 RAG를 간편하게 개발할 수 있을 것으로 분석했다.
옴디아의 수석 애널리스트 브래들리 심민은 “AI 에이전트 프레임워크는 기업이 자체 임베딩 모델, 임베딩 알고리즘, 자체 벡터 스토어를 구축할 필요 없이 RAG 파이프라인을 쉽게 구축할 수 있게 돕는다”라고 설명했다.
또한 심민은 AI 모델을 개발하는 기업에서 관련 서비스를 직접 만드는 사례가 늘어나고 있다며, 데이터브릭스가 AI 에이전트 프레임워크를 공개하는 것도 해당 트렌드와 맞닿아 있다고 밝혔다.
심민은 “맥락에 맞게 데이터를 분석하고 다양한 사용 사례를 만들기 위해서는 생성 LLM만큼이나 임베딩 모델이 중요하다”라고 밝혔다.
경쟁사인 스노우플레이크는 11월에 ‘코텍스’에 유사한 기능을 추가했다. 데이터브릭스는 에이전트 AI 프레임워크와 함께 AI 에이전트 평가 도구인 ‘모자이크 AI 퀄리티 랩’를 퍼블릭 프리뷰 버전으로 출시했다.
데이터브릭스에 따르면 이 도구는 AI를 사용하여 RAG 기반 애플리케이션의 결과물이 고품질인지 확인하고 사람 피드백을 입력할 수 있는 인터페이스를 제공한다.
앱·모델 관리 지원하는 모자이크 AI 게이트웨이
데이터브릭스는 ‘모자이크 AI 게이트웨이’라는 서비스도 새로 공개했다. 모자이크 AI 게이트웨이로 기업이 LLM과 생성형 AI 기반 애플리케이션을 관리할 수 있다. 데이터브릭스는 “기업은 해당 도구로 오픈소스 또는 상용 모델을 쿼리, 관리, 배포할 수 있는 통합 인터페이스를 이용할 수 있으며, 기업은 애플리케이션 코드를 복잡하게 변경하지 않고도 애플리케이션을 구동하는 LLM을 전환할 수 있다”라고 설명했다. 또한 일종의 AI 가드레일을 통해 기업은 모델을 호출하는 사용자를 추적하고, 요금 한도를 설정하여 지출을 제어하고, 안전 및 개인 식별 정보(PII)를 필터링할 수 있다.
옴디아의 심민에 따르면 이 새로운 기능은 작년에 출시된 데이터브릭스 ML 게이트웨이 API를 활용한다. 심민은 “고객은 이 기능으로 기본적으로 LLM용 코드를 작성하는 방법을 간소화하고, 모델, 데이터 소스 등과 같은 다양한 AI 자산을 더 잘 교환할 수 있는 일관된 추상화 계층을 만들 수 있다”라고 설명했다.
더퓨처럼그룹의 하이브리드 클라우드 실무 책임자인 스티븐 디킨스는 AI 게이트웨이 인터페이스가 기업이 모델 사용을 모니터링하고 제어하면서 규정 준수를 보장해야 하는 ‘중요한 과제’를 해결해 준다고 평가했다.
데이터브릭스는 LLM을 실행하고 운영하기 위한 ‘모자이크 AI 툴 카탈로그’를 비공개 프리뷰 버전으로 출시했다.
새로운 AI 기능으로 경쟁사 이길 수 있을까?
애널리스트는 데이터브릭스가 새로운 기능과 도구로 시장 입지를 높이려고 노력하지만, 아직 주요 경쟁사인 스노우플레이크와 비교하면 몇 가지 영역에서 여전히 뒤처진다고 평가했다.
컨스텔레이션 리서치의 수석 애널리스트 더그 헨첸은 “데이터브릭스는 AI와 생성형 AI 분야에서 선두를 달리고 있지만 데이터 웨어하우징에서는 아직 증명해야 할 것이 많고 데이터 마켓플레이스와 데이터 앱에서는 스노우플레이크에 뒤처져 있다”라고 설명했다. 헨첸은 “스노우플레이크는 강력한 플랫폼을 보유하고 있으며 상대적으로 더 많은 사용 편의성을 제공하고, 더 많은 수익과 더 나은 플랫폼 파트너십 기회를 제공하며, 결과적으로 시장에서 더 많은 기회를 얻고 있다”라고 밝혔다.
DB인사이트의 수석 애널리스트 토니 배어는 데이터브릭스와 스노우플레이크는 서로 다른 출발점에서 AI에 접근하고 있으나 이제는 같은 곳을 향해 나아가고 있다고 말했다. 배어에 따르면, 데이터브릭스는 항상 데이터 엔지니어와 데이터 과학자를 위한 플랫폼이었기 때문에 ML플로우를 지원하는 시절부터 기술 실무자에게 초점을 맞춰 차별점을 만들었다. 반면 스노우플레이크는 전통적인 데이터 웨어하우징 시장에서 시작하여 비즈니스 분석가를 공략해 서비스를 만들고 있다.
배어는 “두 기업은 이제 서로의 고객층을 겨냥하고 있다. 데이터브릭스는 사용자가 AI 에이전트와 직접 상호작용 가능한 도구를 제공하는 반면, 스노우플레이크는 RAG의 복잡성을 추상화하여 내부 서비스의 편리성을 높이고 있다”라고 분석했다.
아말감 인사이트의 박현 수석 애널리스트는 “데이터브릭스는 생성형 AI 관련 기능 대부분을 ‘모자이크’라는 이름으로 바꾸고 마케팅을 다시 진행하고 있다”라며 “이는 데이터브릭스가 모자이크ML과 관련된 매출을 늘리고 13억 달러를 들여 인수한 작업을 의미 있게 만들려는 노력일 수 있다”라고 설명했다.
dl-ciokorea@foundryco.com
