기술 인재 문제부터 데이터 방정식을 올바르게 구하는 어려움까지, IT 리더들이 직면하는 여러 생성형 AI 현실 과제와 이에 대한 리더들의 해법을 살펴본다.
생성형 AI 기술이 흥분과 기대감부터 스트레스와 우려에 이르는 다양한 감정을 야기하고 있다. 지난 5월 글로벌 맥킨지에서 실시한 설문조사에 따르면 생성형 AI를 사용하는 조직은 65%로, 10개월 전의 조사보다 거의 두 배 가까이 증가했다.
과거 여러 기술이 도입되던 패턴과 마찬가지로, 조직들은 대부분 기존 프로세스를 개선하고 비용을 절감하는 등 전술적 이점이 가능한 영역에서 생성형 AI를 사용하기 시작했다고 딜로이트 컨설팅의 짐 로완은 설명했다. 그리고 이러한 접근 방식은 새로운 기술에 대한 지식, 경험, 자신감을 쌓는 동시에 새로운 가치를 창출하는 데 도움이 된다고 로완은 덧붙였다.
단 조직에 따라 생성형 AI 사용 수준은 크게 다르다. 일부 얼리어답터들은 이제 여러 사용 사례를 서로 연결하여 파일럿을 프로덕션으로 확장하여 가시적인 효율성 향상을 거두고 있다. 교육에 투자하고 개념 증명을 시도하며 주로 서드파티 소프트웨어에 내장된 AI 기술을 채택하려는 기업들도 있다. 또 다른 진영에서는 관망하는 접근 방식을 취하고 있다.
조직들이 생성형 AI에 대해 배우는 것부터 파일럿을 시작하는 것, 그리고 진정한 혁신을 가져올 수 있는 본격적인 구현을 배포하는 방법을 알아내는 과정에서 IT 리더들이 체험한 6가지 진실을 소개한다.
1. 기술 인재가 여전히 도입의 최대 장벽이다.
딜로이트의 생성형 AI 관련 보고서에 따르면, 높은 수준의 AI 전문성을 보유한 조직(33%)은 생성형 AI에 대해 더 긍정적으로 생각하는 경향이 있었지만, 이들 역시 기술 도입에 더 많은 부담을 느끼며, 생성형 AI를 비즈니스 모델에 대한 위협으로 보고 있었다.
“이는 AI에 정통하다고 생각하는 조직조차도 잠재적 역풍에 대비하고 있음을 보여준다”라고 로완은 말했다.
그 결과, 팀원들의 AI 전문성이 높다고 생각하는 IT 리더들조차도 AI 기술 격차를 해소하기 위해 업스킬링을 중심으로 한 AI 인재 전략에 대해 검토하고 있었다.
2. 생성형 AI가 매출에 미치는 영향은 아직 미미하다
맥킨지의 수석 파트너이자 글로벌 리더인 아머 베이그는 지난 5월 MIT CIO 컨소시엄에서 생성형 AI의 불편한 현실에 대한 강연에서 “허니문 단계는 끝났다”고 지적하면서, 오늘날 매출에 영향을 미치는 생성형 AI 프로젝트는 거의 없을 것으로 보인다고 전했다.
맥킨지가 조사한 기업 중 15%만이 생성형 AI 이니셔티브를 통해 수익을 개선할 수 있는 가시성을 확보하고 있다고 베이그는 말했다. 그는 “모든 사용 사례가 동일하지는 않지만 부가가치를 창출하는 사례는 많지 않다. 기술적으로 실현 가능하고 위험이 거의 없는 실제 비즈니스 문제를 해결하는 이니셔티브에 집중할 것을 제안한담”라고 말했다.
딜로이트 보고서에 따르면 조직의 48%는 1~3년 동안 생성형 AI로 인한 변화를 기대하지 않는다고 답했다.
영국에 본사를 둔 CNH 인더스트리얼은 마이크로소프트의 코파일럿을 발빠르게 채택했으며 2023년 11월부터 자체적으로 대규모 언어 모델(LLM)을 만들기 시작한 조직이다.
이 회사의 글로벌 최고 디지털 및 정보 책임자인 마크 케리미는 “많은 제약이 확실히 존재함을 확인했다. 우리 모두가 생각했던 만병통치약은 아니다”라고 말했다.
그는 송장 처리와 같은 영역에서 일부 효과가 있기는 했다며, 생성형 AI에 대해 “정보 합성 도구”로 간주한다고 표현했다. 또 “기성품 생성형 AI 도구들이 현재로서는 재무나 숫자 분석에 전혀 효과적이지 않다”라고 덧붙였다.
또 다른 문제는 도구와 기술의 확산이다. 베이그는 이를 억제해야 한다는 입장이다. 그는 “대규모로 생성형 AI를 도입하는 데 있어 주요 장애물 중 하나는 너무 많은 생성형 AI 플랫폼이다”라고 말했다.
피닉스 아동 병원의 최고 혁신 책임자이자 수석 부사장인 데이비드 히긴슨은 “그 능력과 잠재적인 미래 영향력이 놀라운 새로운 도구가 일주일마다 쏟아지는 양상이다”라며, 의료 조직 내 소규모 IT 조직이 제대로 다루기 어렵다고 인정했다. 그는 “우리 모두가 기대하는 실질적인 가치를 제공할 수 있는 성숙한 솔루션을 기존 벤더들이 제공하기를 기다리며 약간 멈춰 있는 상태다”라고 말했다.
그러면서도 히긴슨은 의료 서비스 제공업체의 실제 문제를 해결할 수 있는 효과적인 도구가 곧 등장할 것으로 기대했다. “그렇게 되면 우리 같은 조직도 위험 감수, 비용, 의료진 만족도, 환자 치료 결과 사이에서 결정을 내려야 한다는 압박을 느끼게 될 것”이라고 말했다.
3. 법적 문제
히긴슨이 생각하기에 생성형 AI 플랫폼의 대규모 도입을 늦추는 두 가지 요인은 법적 및 규제적 불확실성과 얼리 어답터로서의 높은 비용이다.
“이 기술 사용에 따른 법적 위험성은 아직 확실하지 않다. 그러나 ‘뭔가 잘못되고 있다’는 미디어의 호들갑과 비용 부담은 확실히 크다. 그 결과, 많은 관리자들이 이 새로운 기술의 첫 번째 테스트 케이스가 되는 것을 거부하고 있다. 특히 기술이 어떻게 작동하는지에 대한 개념이 불분명하고 실제로 어떻게 작동하는지 변호사가 보장할 수 없는 경우 더욱 그렇다”라고 말했다.
딜로이트의 연구에 따르면 컴플라이언스(28%)와 거버넌스 문제(27%)가 AI 도입의 장애물로 꼽혔다. 보고서에 따르면 생성형 AI 도입을 관리하고 잠재적 위험을 완화하기 위해 충분한 조치를 취했다고 답한 응답자는 절반 미만(42%)에 그쳤다.
로완은 “특히 여러 지역에서 활동하는 글로벌 조직의 경우 내년에 AI가 어떻게 규제될 것인지에 대해 불확실성을 느끼고 있다. 큰 그림에서 보면 생성형 AI가 기업 거버넌스 및 리스크에서 제기하는 문제는 사회적 거버넌스 및 리스크 문제와 유사하다”라고 말했다.
딜로이트 연구 응답자의 절반 이상은 생성형 AI의 광범위한 사용이 글로벌 경제 권력을 집중시키고(52%), 경제적 불평등을 심화시킬(51%) 것이라는 우려를 표명하기도 했다.
로완은 “두 영역 모두에서 이 기술의 잠재적 혜택과 잠재적 해악이 모두 높다. 국가 조직과 정부는 혁신을 지나치게 방해하거나 다른 규칙을 가진 기업에게 불공정한 이점을 제공하지 않으면서 생성형 AI 혜택이 광범위하고 공정하게 분배되도록 균형을 잡아야 할 것”이라고 말했다.
4. 비용 부담
맥킨지의 베이그는 조직이 생성형 AI 비용을 세심하게 관리해야 한다고 강조했다. 생성형 AI가 높은 컴퓨팅 역량과 높은 변화 관리를 필요로 하기 때문이다.
그는 생성형 AI가 워크플로우, 비즈니스 프로세스, 새로운 KPI의 변화를 요구한다는 점을 조직이 감안해야 한다고 권장했다. 또한 조직은 위험 및 환각 교육과 지속적인 유지보수를 위한 예산도 고려해야 한다고 베이그는 말했다.
히긴슨은 생성형 AI 도입의 근본적인 장벽으로 모델 학습에 필요한 하드웨어, 전력, 데이터의 희소성과 비용을 지목했다. “이러한 희소성 때문에 어떤 솔루션이 가장 대중에게 어필할 수 있고 장기적으로 가장 큰 수익을 창출할 수 있는지 우선순위를 정해야 할 필요가 있다”라고 그는 말했다.
CNH의 케르미쉬는 생성형 AI가 “비용 절감을 이끌어낼 것으로 기대했지만 실제로는 그렇지 않았다. 플랫폼은 돟입하는 데 매우 비싸고 생성형 AI를 더 많이 활용할수록 비용이 더 많이 든다. 투자한 만큼 생산성을 회복할 수 있다면 좋겠지만, 아직은 1:1로 전환되지 않는다”라고 말했다.
현재 CNH 인더스트리얼은 제한된 수의 코파일럿 라이선스를 보유하고 있으며, IT 부서는 일반적으로 새로운 기술 사용에 흥미를 보이는 직원들에게 라이선스를 한정적으로 제공한다. 관심이 곧 사라지는 경향이 있어서다.
케르미쉬는 “보통 30일 이내에 그 활용도가 급격히 떨어지곤 했다. 엑셀 스프레드시트를 열어 코파일럿을 시도하지만 이내 사용하기가 만만치 않다는 사실을 깨닫는다”라고 말했다.
물론 코파일럿은 올바른 프롬프트를 사용한다면 효과적이다. “프롬프트가 정확할수록 더 좋다. 하지만 아직 이 기능을 제대로 사용하는 파워 유저를 보지 못했다”라고 그는 덧붙였다.
브릭스 앤 스트래튼의 부사장 겸 CIO인 브라이언 올슨은 구글 제미나이를 상당 부분 도입했다. 그는 비용도 어느 정도 문제가 되겠지만 더 중요한 것은 도입 및 사용 현황을 모니터링하는 방법을 찾는 것이라고 전했다.
그는 “AI 분야가 매우 빠르게 발전하고 있기 때문에 민첩하게 대응하고 있으며 효율성을 확인하기 위해 도입하고 있다. 비용과 채택율을 살펴보고 있다”라고 말했다.
5. 올바른 데이터 확보 과제
생성형 AI 모델이 효과적으로 작동하려면 방대한 양의 정확하고 관련성 높은 데이터가 필요한 가운데, 많은 조직이 고품질 데이터를 확보해야 하는 어려움에 직면해 있다.
맥킨지의 베이그는 조직이 완벽한 데이터를 찾는 것은 ‘막대하게 어려운 도전’이기에 완벽한 데이터를 찾는 데 집중해서는 안 된다고 지적했다. 그는 “많은 조직이 하향식으로 데이터를 살펴보고 있는데, 이로 인해 결국 거대한 스프레드시트처럼 나타난다. 다양한 사용 사례에 도움이 되는 데이터에 집중해야 한다”라고 말했다.
CNH의 케르미쉬는 문서나 텍스트 기반 데이터 저장소를 사용해 LLM을 만드는 것이 “상대적으로 가치가 높고 응용이 비교적 쉬웠다”라고 전했다. 현재 CNH 경영진은 생성형 AI가 비즈니스에 상당한 영향을 미칠 것으로 믿지만 아직은 초기 단계라고 보고 있다. 그는 “몇 달 내 작업을 자동화함으로써 차량 설계 능력이 크게 향상되고 비용을 절감할 수 있을 것으로 기대했었다. 하지만 아직 실현된 것은 없다. 긍정적인 결과와 긍정적인 성과가 나타나고 있지만 사용 사례는 제한적이다”라고 말했다.
현재 커미쉬가 취하고 있는 접근 방식은 기술 리더 그룹을 대상으로 기술을 교육하고 마이크로소프트와 협력하여 더 많은 직원을 교육하는 것이다. 그는 “실험을 장려하고 비즈니스 팀이 배울 수 있도록 하고 있다. 마치 대규모 과학 박람회에서 이론을 만들어가는 느낌인데, 10개 중 8개는 실패하고 있다. 빨리 실패하기만 한다면 지금 당장은 괜찮다”라고 말했다.
6. 앞으로 계속될 변화
성장통에도 불구하고 IT 리더들은 생성형 AI가 사라지지 않을 것이라는 점을 인식하고 있다. 피닉스 병원의 히긴슨은 “한 가지 확실한 것은 성공과 실패를 거듭하는 험난한 여정이 기다리고 있다는 것이다. 향후 5~10년 동안 업계가 어떻게 변화할지 기대가 된다”라고 말했다.
월드 인슈어런스의 CIO 마이클 코리건은 생성형 AI가 강력하고 매우 빠르게 진화하고 있지만, 성숙도는 매우 느리다며, 과대 광고와 잘못된 정보도 많다고 진단했다. “비즈니스 목표를 달성하기 위해서는 전략과 로드맵이 제대로 구현되어야 한다”라고 그는 말했다.
또 섀도우 생성형 AI가 등장하고 있기 때문에 조직은 사용 사례와 사용하고자 하는 도구를 설정해야 한다는 조언도 있다. 브릭스 앤 스트래튼의 올슨은 “공식적으로 특정 AI 툴을 도입하지 않았더라도 직원들은 챗GPT와 다양한 외부의 AI 툴을 사용하고 있다. 불편한 진실은 직원들에게 도구를 제공하지 않으면 직원들이 도구를 찾게 된다는 것이다… AI로 아무것도 하지 않더라도 데이터 위험은 존재한다. 이는 새로운 정보 보안 위험이다”라고 말했다.
컨슈머 에너지의 IT 담당 전무이사 데이브 폴락은 이에 동의하며, 기업 내에 생성형 AI가 안전하게 구현되어야 하지만 시중의 생성형 AI 도구를 쓰는 것보다 훨씬 어려운 작업이다”라고 말했다.
하지만 이러한 어려움에도 불구하고 케르미쉬, 파울락, 베이그 등은 생성형 AI를 빠르고 안전하게, 대규모로 구현하는 데는 가치가 있다고 말했다.
베이그는 “다른 디지털 혁신과 달리 생성형 AI는 어느 정도 투자가 필요한 단계라고 본다. 이를 활용할 수 있는 엄청난 기회가 있으며, 조직을 발전시키는 데 있어 CIO가 주도적인 역할을 하는 것이 더욱 중요해졌다”라고 말했다. dl-ciokorea@foundryco.com
