AI 기능 과장에 대한 유혹이 벤더에서 사용자층으로까지 번지고 있다. IT 리더는 성과를 보여줘야 한다는 압박에 시달리고 있지만, 명확한 정의와 검토를 통해 이런 유혹을 피해야 한다.
IT 업계에서는 벤더가 제품의 기능을 과장해 온 오랜 역사가 있다. 하이프 사이클을 고려할 때 현재의 AI도 마찬가지다. 이제 사용자 기업조차도 AI 기능을 과장하고 있는 것으로 보이며, 이는 잠재적으로 큰 골칫거리가 될 수 있다.
AI 도입을 고려 중인 조직의 IT 리더는 이사회, 경영진, 시장 자체로부터 주요 AI 이니셔티브를 실행해야 한다는 압박을 받고 있다. 현재로선 AI의 정의가 혼란스럽기 때문에 의도치 않게 AI 기능이 과대 포장될 수도 있다고 전문가들은 말했다.
브레이스웰 로펌의 규제 준수 변호사 데이비드 샤르겔은 지금의 AI 골드러시 상황에서 기업들이 투자자와 고객을 유인하기 위해 AI 구현을 과장하고 싶은 ‘AI 워싱’의 유혹을 받을 수 있지만, 그 전에 다시 한번 생각해야 한다고 조언했다.
미국 규제 기관도 AI 기능 과장을 주시하고 있다. 미국 증권거래위원회(SEC)는 지난 3월 투자자문사 2곳과의 합의 사실을 발표했는데, 두 회사가 투자 자문에 AI를 사용하는 과정에서 오해의 소지가 있는 발언을 했다는 혐의로 기소한 것이었다. 두 회사는 약 40만 달러의 합의금을 지불했다.
위로부터의 압력
지난 1월 ‘AI 워싱’에 관한 블로그 게시물을 공동 집필한 샤르겔은 일부 기업에서 AI가 어디까지를 아우르는지 이해하지 못해 AI 사용 현황을 과장할 수 있다고 말했다. 하지만 그는 의도적인 과장도 일부 있는 것으로 보인다고 지적했다.
샤르겔은 “AI 워싱은 새로운 현상이긴 하지만 사실 다른 종류의 사기에 불과하다. 기업은 부정행위에 능숙하며, 새로운 기술을 바탕으로 새로운 방법을 찾아낼 것이다”라고 주장했다.
또한 샤르겔은 규제 문제 외에도 AI 활용을 과장하는 기업이 주주 소송과 고객 신뢰 상실을 겪을 수 있다고 언급했다. 다시 말해, 일부 조직에서 AI의 독창성을 강조하는 것이 오히려 공허한 외침이 될 수 있다는 의미다.
엔터프라이즈 AI 플랫폼 기업인 도미노 데이터랩의 AI 전략 책임자인 키엘 칼슨은 CIO와 기타 IT 리더들이 AI를 채택하고 성공적으로 배포해야 한다는 압박을 더 많이 받으면서 그에 대한 인센티브가 과장되고 있기 때문에 이런 일이 발생한다고 말했다.
칼슨은 “AI에 대한 엄청난 수요와 열망이 있으며, 사람들이 말하는 ‘AI’에는 생성형 AI에 대한 일종의 의무가 담겨 있다. 다시 말해 ‘우리는 오픈AI의 힘을 확인했다. 비즈니스를 혁신하기 위해 대규모 언어 모델을 어떻게 사용할 것인지 알려달라’라는 의미인 것이다”라고 말했다.
또한 그는 기업이 항상 기술 트렌드를 따르고 시류에 편승하려고 노력해 왔다면서 “챗GPT가 출시되자마자 대부분의 비즈니스 인텔리전스 벤더가 순식간에 챗봇을 도입하고 ‘우리는 AI를 지원하는 비즈니스 인텔리전스 센터입니다’라고 말한 것은 놀라웠다”라고 말했다.
그는 일부 BI 벤더가 단순 챗봇을 AI 도구로 리브랜딩하기도 했다고 언급했다. 이런 리브랜딩이 기술적으로 아주 틀리진 않았지만 생성형 AI에 의존하지 않는 규칙 기반 시스템을 사용하면서도 시장의 과열을 주도하고 있다고 그는 설명했다.
이제 기술 벤더가 아닌 사용자 기업도 이런 유혹을 받고 있다.
문서 검색 업체 팩트셋은 S&P500 기업 중 199곳이 2024년 1분기 실적 발표에서 AI를 언급했다고 밝혔다. 분석에 따르면 챗GPT 출시 전 5년간 기업 수익 발표에서 AI를 언급한 사례는 평균 80건이었지만, 챗GPT 출시 직후인 2023년 1분기부터 2024년 1분기까지 언급이 249% 증가한 것으로 나타났다.
혼란과 인플레이션
브랜드 메시징용 AI 도구 업체인 재커드(Jacquard)의 CPO 토비 콜타드는 단기적 이익보다 미래의 매출 성장을 목표로 AI와 연계하려는 기업의 움직임이 투자자들에게 매력적인 포지션을 차지하게 됐다고 언급했다. 그는 LLM, 신경망, 머신러닝 또는 단순한 데이터 과학 애플리케이션 등 AI의 정의가 혼란스럽기 때문에 기업들이 AI를 사용한다고 주장할 때 “많은 여지가 있다”라고 말했다.
콜타드는 “시가총액을 유지하거나 부풀리기 위해 뭔가를 하려는 내재적 동기와 정의되지 않은 개념이 혼합돼 무엇이 적절한지 구분할 수 없는 회색 지대를 만든다. 시장이 실제로 의미 있는 방식으로 AI를 정의하거나, 투자자들이 보다 균형 잡힌 방식으로 AI를 평가할 때까지는 이런 추세가 느려지지 않을 것”이라고 진단했다.
사용 사례 부족
칼슨은 CIO와 기타 IT 리더들이 AI를 탐색해야 한다는 다양한 압박을 받지만, 이사회와 CEO가 생성형 AI와 LLM에 열광함에도 불구하고 전통적인 AI와 머신러닝 도구가 여전히 많은 조직에 더 유용할 수 있다는 사실에 특히 어려움을 겪는다고 말했다.
이와 관련해 그는 생성형 AI에 잠재력이 있으나 아직까지 바이오 제약과 같은 특정 산업을 위한 사용 사례는 거의 없으며, 대부분의 다른 기업에는 소수의 애플리케이션만 적용되고 있다고 언급했다. 칼슨은 고객 불만을 처리하는 지능형 챗봇과 엔터프라이즈 검색 기능을 갖춘 가상 비서가 자리를 잡아가는 상황이며, 생성형 AI의 다른 사용 사례는 거의 나타나지 않았다고 말했다.
그는 “몇 가지 성공 사례를 보유한 조직과 이야기를 나누다 보면 추가 사용 사례의 파이프라인이 매우 좁다는 점을 깨닫는다. 그러면 비즈니스 가치 관점에서 한계가 있어 보이는 프로젝트에 매우 빨리 도달하게 된다. 이야기를 나누던 한 기업은 ‘생성형 AI를 사용할 수 있는 방법에 대해 500개의 제안이 있었는데 실제로는 5개의 제안이 100번 반복된 것’이라고 말하기도 했다”라고 지적했다.
칼슨은 또한 일부 기업에서 기본 분석 및 프로세스 자동화와 같이 기존 AI 도구로 수행할 수 있는 작업에 생성형 AI를 사용하는 경우가 있다면서, 이는 IT 리더에게 문제를 일으킬 수 있다고 말했다. 그에 따르면 생성형 AI는 조정된 이후에도 여전히 환각을 일으킬 수 있으며 기존 도구가 더 일관성이 있을 때에는 불확실성을 야기한다.
칼슨은 “새로운 데이터로 작업하고, 새로운 사용 사례를 추구하는 새로운 기술이기 때문에 쉽지 않다. 이런 모델은 기존 모델처럼 작동하지 않는다는 문제에 부딪히게 된다. 이는 무서운 수준의 불확실성과 리스크를 수반하기 때문에 기존 기술을 대체하는 용도로 사용하기 어렵다”라고 진단했다.
주의 사항
브레이스웰의 샤르겔은 기업이 자사 AI 역량을 광범위하게 표현할 때를 주의해야 한다고 조언했다. 규제 당국의 조사를 피하려면 기업은 내부적으로, 그리고 규제 당국에 제출할 때 사용할 AI의 정의를 마련해야 한다.
또한 그는 CIO와 경영진이 발언을 하기 전 자사의 AI 역량을 검토하는 과정이 필요하다고 말했다. 그는 “기업이 진정으로 해야 할 일은 다른 유형의 정보 공시와 같은 방식으로 AI를 다루는 것이다. 기업은 검토나 규정 준수 감사 없이 재무 상태를 공시하지 않는다. 기업은 기술과 AI에 대한 정보 공시를 동일하게 취급해야 하며, 그 정확성을 평가할 능력을 갖춰야 한다”라고 덧붙였다.dl-ciokorea@foundryco.com
