이든티앤에스가 자사의 LLM인 ‘웍트로 LLM’와 HP의 ‘GEN11’ 서버를 결합한 ‘웍트로 LLM 시너지’를 출시했다고 10일 밝혔다.
웍트로 LLM 시너지는 각 비즈니스의 특성에 맞게 고정밀 파인튜닝한 웍트로 LLM 모델을 HP GEN11 서버에 탑재해 원스탑 공급하는 어플라이언스 제품이다. 패키지 구성으로 인해 비용 절감과 간소화된 구축 과정이 특징이라고 회사는 설명했다.
또 보안이 중요한 조직의 경우 온프레미스 환경에서 AI를 구축하길 원하는 경우가 많은데, 웍트로 LLM 시너지는 하드웨어에 LLM을 직접 설치하는 형태로 제공돼 외부 연결 없이 자체 데이터센터만으로 AI를 구축할 수 있다.
웍트로 LLM 시너지는 언어모델의 규모, 사용 목적 및 용도에 따라 ▲sLLM(소형언어모델) 추론용 패키지 ▲LLM(대규모언어모델) 추론용 스탠다드 패키지 ▲LLM(대규모언어모델) 추론용 엔터프라이즈 패키지 ▲LLM 전문 학습용 패키지 등 4개의 옵션으로 제공된다.
sLLM(소형언어모델) 추론용 패키지는 HPE DL360 Gen11을 기반으로, 인텔 제온 실버 4410Y 프로세서와 64GB DDR5 메모리를 탑재하며, 엔비디아 L4 24GB PCIe x1 GPU를 장착해 동시접속자 수 50명까지 지원한다.
LLM(대규모언어모델) 추론용 스탠다드 패키지와 엔터프라이즈 패키지는 각각 HPE DL380 Gen11을 기반으로 한다. 스탠다드 패키지는 64GB 메모리와 엔비디아 L40 48GB PCIe x2 GPU를, 엔터프라이즈 패키지는 128GB 메모리와 엔비디아 L40 48GB PCIe x4 GPU를 장착해 200명까지 동시 접속할 수 있다.
LLM 전문 학습용 패키지는 HPE DL380 Gen11과 256GB DDR5 메모리, 엔비디아 H100 NVL 94GB PCIe x4 GPU를 탑재한 고성능 모델이다.
이든티앤에스 김연기 대표는 “웍트로 LLM 시너지는 많은 기업들이 직면한 IT 인프라 구축 비용 절감에 대한 고민을 해결해 줄 것”이라고 밝혔다.dl-ciokorea@foundryco.com
