엔비디아가 차세대 디지털 휴먼 구현을 가속화하기 위한 생성형 AI 마이크로서비스 '엔비디아 ACE'를 정식 출시한다고 발표했다. 이와 함께 엔비디아는 ACE 플랫폼에 새로운 생성형 AI 기능을 곧 도입할 예정이라고 밝혔다.
엔비디아는 ACE 기술을 이미 도입한 고객 서비스, 게임, 헬스케어 분야 기업은 고객 서비스, 원격 의료, 게임, 엔터테인먼트 분야에 사실적인 디지털 휴먼 제작, 애니메이션화, 운영을 간소화하고 있다. 현재 출시된 엔비디아 ACE 디지털 휴먼 생성형 AI 기술 제품군은 다음과 같다.
• 엔비디아 리바(Riva) ASR, TTS, NMT : 자동 음성 인식(automatic speech recognition, ASR), 텍스트-음성 변환(text-to-speech, TTS), 번역
• 엔비디아 네모트론(Nemotron) LLM : 언어 이해와 상황에 맞는 응답 생성
• 엔비디아 오디오투페이스(Audio2Face) : 오디오 트랙을 기반으로 사실적인 얼굴 애니메이션 생성
• 엔비디아 옴니버스(Omniverse) RTX : 실시간 경로 추적 기술을 통해 사실적인 피부와 헤어 구현
컴퓨텍스 2024에서 새로 발표된 기술은 다음과 같다.
• 엔비디아 오디오투제스처(Audio2Gesture) : 오디오 트랙을 기반으로 바디 제스처를 생성하는 기술, 곧 출시 예정
• 엔비디아 네모트론-3 4.5B : 저지연 온디바이스 RTX AI PC 추론을 위해 특별히 제작된 새로운 SLM(Small Language Model)
엔비디아 CEO 젠슨 황은 “디지털 휴먼은 산업에 혁명을 일으킬 것”이라며, “엔비디아 ACE가 개발자 생태계에 멀티모달 거대 언어 모델과 신경 그래픽 혁신을 제공함으로써 컴퓨터와 상호 작용하는 것이 인간과 상호 작용하는 것처럼 자연스러운, 인텐트 기반(intent-driven) 컴퓨팅의 미래를 앞당기고 있다”라고 말했다.
현재까지 엔비디아는 개발자가 데이터센터에서 운영할 수 있도록 ACE를 NIM 마이크로서비스 형태로 제공해 왔다. 이제 엔비디아는 1억 대의 RTX AI PC와 노트북에 설치할 수 있는 ACE PC NIM 마이크로서비스를 구축하고 있다. 여기에는 엔비디아 최초의 SML인 엔비디아 네모트론-3 4.5B가 포함된다. 해당 모델은 클라우드에서 실행되는 LLM과 비슷한 정밀도와 정확도로 기기에서 직접 실행될 수 있도록 특별히 제작됐다. 네모트론-3 4.5B는 현재 얼리 액세스 단계에 있다. 엔비디아 오디오투페이스와 엔비디아 리바 ASR 온디바이스 모델도 곧 얼리 액세스로 제공될 예정이다.
새로운 엔비디아 AI 추론 매니저(AI Inference Manager) 소프트웨어 개발 키트(software development kit, SDK)는 ACE를 PC에 배포하는 과정을 간소화한다. 필요한 AI 모델, 엔진, 종속성을 PC에 사전 구성하는 것은 물론, PC와 클라우드 간의 AI 추론을 원활하게 조율한다.
컴퓨텍스에서는 인월드 AI(Inworld AI)와 공동으로 개발한 코버트 프로토콜(Covert Protocol) 기술 데모 업데이트 버전이 컴퓨텍스에서 공개됐다. 데모에서는 지포스 RTX PC에서 로컬로 실행되는 오디오투페이스와 리바 ASR을 사용해 플레이어가 대화형 언어로 NPC와 상호 작용하고 영향을 주며, 임무를 완수하는 사례를 시연했다.
엔비디아 아트팀은 신디시아(Synthesia)와 아워 원(Hour One) 등의 ACE 기반 생성형 AI 툴을 사용해 텍스트에서 비디오로 생성된 ‘디지털 젠슨(digital Jensen)’ 아바타를 제작했다. 젠슨 황의 독특한 목소리와 스타일을 특징으로 한 디지털 젠슨은 일레븐랩스(ElevenLabs)의 독점 AI 음성 및 목소리 기술을 통해 중국어와 영어로 생성됐다. 또한 엔비디아는 AI 음성 기술을 전문으로 하는 엔비디아 인셉션(Inception) 회원사 보이스모드(Voicemod)와 협력해 CEO 젠슨 황의 기조연설 엔딩 테마곡을 작곡하기도 했다.
