어렵지만 꺼내야 한다··· CIO가 AI 전략 회의에서 던져야 할 질문 6가지

AI 만큼 많은 토론과 논쟁을 불러일으킨 기술도 없을 것이다. 노동자는 물론 유명 기업 인사, 글로벌 리더는 AI에 대한 찬사와 두려움 사이에서 갈팡질팡하고 있다.

그런 면에서 기업 임원은 기술 책임자에게 온갖 종류의 까다로운 질문을 던지며 AI 시대를 준비하고 있다. 기술 임원 선두에 서 있는 만큼 CIO은 많은 답을 가지고 있을 거라는 기대를 받는다. 따라서 미리 준비하지 않으면 경영 회의 시간에 곤란할 수 있다.

미국의 IT 자문 회사인 AVOA의 CIO 전략 고문인 팀 크로포드는 “CIO는 이러한 대화의 중심에 있다”라며 “CIO가 모든 정보를 알 필요는 없지만, 조직 전반을 볼 수 있는 사람으로서 다른 경영진이 모든 정보를 종합하는 데 도움이 되는 인사이트를 제공할 수 있어야 한다”라고 조언했다.

AI 구현 비용부터 인류에 대한 실존적 위협까지 AI와 관련해서 논의할 부분은 다양하다. 후자에 대해서는 답을 할 수 없지만, 적어도 전자와 기업에 직접적 영향을 미치는 주제에 대해서는 CIO가 대화를 주도해야 한다. 다음은 팀, 현업 부서 리더, 최고 경영진, 이사회와 나누어야 할 핵심적인 AI 논의 주제다.

1. 실제로 AI가 필요한 비즈니스 사례는 무엇인가?
챗GPT는 2022년 말 출시 후 많은 사용자를 모으며 큰 반향을 일으켰다. 또한 챗GPT 출시로 해 AI는 많은 기업의 주요 의제로 떠오르며 주목을 받았다. 컨설팅 기업 EY의 2023년 10월 CEO 전망 펄스 보고서에 따르면, 최고 경영자의 99%가 생성형 AI에 투자할 계획이라고 밝혔다.

하지만 실제로 CEO가 투자를 제대로 하고 있을까? AI 솔루션에 대한 수요가 있을 때마다 비즈니스 요구와 비즈니스 가치에 대한 지적을 제기해야 할 인물은 보통 CIO다. 그래서 CIO는 누구보다 이 질문을 직접 제기하고 고민을 많이 해야 한다.

미 알래스카 주의 CIO인 빌 스미스도 그런 상황에 처해 있었다. 스미스는 AI 솔루션이 필요하다고 말하는 직원을 만난 적 있는데, 이유에 대해 직원은 ‘그냥 AI가 필요하다’라는 답변만 내놓았다고 한다.

스미스는 “우리 모두 AI에 대해 이야기하고 있고, 그 속에는 기대와 과장이 있다. 이러한 과대광고 속에서 실제 적용할 수 있는 사용 사례에 대한 엄밀성이 부족하다. 그래서 사람들은 해결하고자 하는 문제에 집중하지 않고 일단 정답만 찾으려는 경우가 많다. 그래서 나는 ‘구체적으로 무엇을 해결하려고 하는가?’라고 묻는다. 왜냐하면 그들에게 필요한 것은 AI가 아닐 수도 있기 때문이다”라고 밝혔다.

스미스는 생성형 AI 와 관련된 과대 광고가 만연한 지금 같은 시기에, 문제나 기회에 먼저 초점을 맞추지 않고 AI 사용에 대해 이야기하는 경향은 놀라운 일도 아니라고 설명했다. 그럼에도 불구하고 그는 내부 직원에게 AI를 교육하면서 보다 깊이 있는 대화가 가능하도록 지원하고 있다. 예를 들어 스미스는 다양한 유형의 AI와 그 사용법을 설명하고, AI와 머신러닝이 어디에 어떻게 유용할 수 있는지, 왜 모든 문제에 대한 해결책이 될 수 없는지를 설명하는 정보 자료, 문서, 발표 자료를 만들었다.

2. 어떤 아이디어가 진정한 비즈니스 가치를 제공할까?
AI에 투자한 기업은 최근 성과를 내고 있다. 마이크로소프트와 IDC가 공동 발간한 ‘AI의 비즈니스 기회’ 보고서에 따르면 글로벌 비즈니스 리더 2,100명을 대상으로 설문조사를 실시한 결과, AI에 투자한 1달러당 3.50달러를 돌려받는 등 350%의 수익을 거두고 있는 것으로 나타났다. 또한 조직이 AI 투자에 대한 수익을 실현하는 데 걸리는 평균 시점은 배포 후 14개월 이내인 것으로 조사됐다.

이러한 조사 결과가 존재하지만 CIO는 동료와 팀원들에게 모든 AI 프로젝트가 무조건 추진할 가치가 있는 것은 아니라는 점도 알려줘야 한다.

세일즈포스의 CIO인 후안 페레즈는 “많은 이가 AI와 같은 기술에 흥미를 느끼고 100가지 파일럿과 테스트를 구현하고 싶어한다. 하지만 조직에 실질적인 가치를 제공할 수 있는 아이디어에 집중해야 한다”라며 “CIO로서 딜레마일 수 있다. 나 개인적으로도 늘 직원이 비즈니스에서 새로운 기술을 사용할 수 있도록 지원하려고 노력한다. 하지만 내가 하는 일이 비즈니스 및 비즈니스 목표에 부합하여 성공을 이루는 것도 중요하다”라고 설명했다.

페레즈는 다른 기술로 구축된 여러 프로젝트와 마찬가지로 AI 프로젝트를 평가하고 팀과 협력하여 사용 사례, 거버넌스 요구 사항, 예상되는 비즈니스 이점 및 기대 수익을 평가하고 있다. 페레즈는 “가치를 제공하지 않는 프로젝트에는 노력을 기울일 필요가 없다”라며 “따라서 AI가 조직에 제공할 수 있는 가치와 큰 목적을 확인할 수 있는 몇 가지 핵심 영역을 선택하고, 거기에 집중하고 배우고, 다른 영역으로 확장하면 좋다”라고 밝혔다.

3. 리소스 제약이 있는 상황에서 합리적으로 달성할 수 있는 것은 무엇일까?
글로벌 제조업체인 에이버리데니슨(Avery Dennison)의 수석 부사장 겸 CIO인 니콜라스 콜리스토는 기업 내부적으로 생성형 AI의 잠재력을 수용하기 위해 초기부터 노력해왔다.

콜리스토는 “AI는 오래전부터 존재해 왔다. 그리고 2023년 초에 생성형 AI가 등장하여 폭발적으로 성장했을 때 우리 회사를 포함한 많은 기업이 이를 거부했다. 우리 경영진은 에이버리데니슨 은 물론, 사내 데이터, 직원을 보호할 수 있는 가이드라인을 우선 마련하고 싶어 했다”라고 설명했다.

이런 분위기 속에 콜리스토는 경영진에게 AI의 기능과 위험에 대해 교육하고, ‘안 된다는 분위기’에서 ‘알 수 있다는 분위기’로 전환하기 위해 노력했다. 그의 노력은 결실을 맺어 에이버리데니슨은 이후 AI 아이디어, 파일럿 및 생산 단계까지 진행했다.

하지만 콜리스토는 리소스에 대한 현실 점검을 하면서 의욕만 앞서서 지나치게 일을 진행하지 않도록 조정했다.

콜리스토는 AI를 이용한다고 새로운 자금이 들어오는 것은 아니라는 점을 임직원에게 알리는데도 집중했다. 일부 직원이 AI 관련 이니셔티브에 대해선 예산 지원 방식이 다를 것이라고 잘못 생각하고 있었기 때문이다. 콜리스토는 “AI에 대해선 기업이 투자하는 방식이 다르다고 생각했다. 기업이 AI를 위해 많은 돈을 투자할 것이라고 본 것이다. 하지만 기존 투자 방식 포기하고 AI에 올인하겠다고 말하는 기업은 많지 않다”라고 설명했다.

다른 CIO들은 자신들도 인재와 시간뿐만 아니라 자금의 한계에 대한 논의를 시작하고 있다고 말했다.

IT 서비스 회사 젠팩(Genpact)의 부사장이자 글로벌 AI/ML 서비스 리더인 스리칸트 메논은 “현재 시점에서 문제는 인재 확보다”라며 “기업은 AI와 함께 일하기 위해 다른 유형의 인재가 필요하다. 내부 직원의 역량을 대대적으로 높이거나 아예 새로운 인재를 영입해야 한다. 많은 기업이 파트너와 협력하여 AI 인재 생태계를 구축하려고 노력하고 있다. 하지만 이런 것은 단시간에 해결되지 않고 어느 정도 시간이 걸리는 문제다”라고 표현했다.

실제로 많은 조직이 적합한 인재 부족으로 인해 어려움을 겪는 것으로 보인다. 앞서 언급한 마이크로소프트와 IDC의 공동 보고서에 따르면, 설문 응답자의 52%가 AI를 구현하고 확장하는 데 있어 ‘인력 부족’을 핵심 장벽으로 꼽았다.

또한 CIO들은 IT 팀에 AI 외에 다른 업무도 있다는 사실을 직원에게 다시 한번 인식시키고 있다 콜리스토는 “우리에게는 과거부터 적용했던 프로젝트 주기가 있다. 파이프라인에 이미 정기적인 프로젝트가 들어가 있다. AI를 위해 모든 것을 포기할 수는 없다”라고 말했다.

콜리스토는 이와 관련해서 논쟁하기보다 비즈니스 우선순위를 기반으로 대화를 주도하고 있다. 콜리스토는 “우리는 비즈니스 부서에 전략적 목표에 부합하는 아이디어를 파악한 다음, 해당 아이디어의 비용, 비용 효율성 또는 수익 창출 효과, 그리고 이러한 이득을 달성할 수 있는 실현 가능성에 대해 이야기하도록 요청하고 있다”라며 “AI를 사용하더라도 가치 있는 프로그램을 식별하기 위해서는 여전히 사업부가 필요하다. 에이버리데니슨은 모든 주요 기능에 걸쳐 수많은 사용 사례를 보유하고 있으며, 우선순위가 높은 사례에 예산을 지원하고 있다”라고 설명했다.

4. 현재 데이터 운영 상태가 원하는 결과를 제공할 수 있는가?
CIO가 동료와 이야기 어려운 주제는 기업 내 데이터 품질 문제이다. 데이터 품질 문제로 인해 AI 프로젝트에 차질이 생기곤 하기 때문이다.

데이터 플랫폼 업체 웨카(WEKA)와 S&P 글로벌 마켓 인텔리전스가 1,500명 이상의 AI 실무자 및 의사 결정권자를 대상으로 실시한 설문조사에 따르면, AI 및 머신러닝 배포를 방해하는 주요 기술적 장애물에 ‘데이터 관리’가 꼽혔다. 비슷하게 KPMG의 2023년 미국 AI 리스크 조사 보고서에서도 데이터 무결성이 AI의 3대 리스크 중 1위로 꼽혔다. 통계적 유효성 및 모델 정확성이 그 뒤를 이었다.

디지털 트랜스포메이션 솔루션 회사인 UST의 최고 전략 책임자 겸 CIO인 크리슈나 프라사드는 “데이터에 대한 논의는 매우 현실적인 주제다. 여러 CIO가 ‘데이터 문제를 해결하지 않으면 원하는 결과를 얻지 못할 것’이라는 말하는 것을 들었다”라고 말했다.

프라사드에 따르면, UST뿐만 아니라 외부 고객사 상당수가 비슷한 고민을 하고 있다. 다만 CIO 입장에서 이 문제를 직접적으로 논의하기 쉽지 않다. 보통 기업에선 CIO에게 비즈니스 데이터 상태에 대한 관리 권한이 없기 때문에 할 수 있는 지원은 관찰한 내용을 공유하고 해결책을 고안하는 데 도움을 주는 수준이다.

동시에 AI 덕에 데이터 품질에 대해 더 많은 조치를 취해야 한다는 요구는 더 늘어나고 있다. 세일즈포스의 페레즈는 “데이터는 이제 기업에서 그 어느 때보다 더 중요해졌다. AI로 데이터에 대한 내부 논의 수준이 높아지고 있다”라고 밝혔다.

5. AI 위험 요소에 대한 입장은 어떻고 해결책은 무엇인가?
CIO가 임원진 및 내부 팀과 나누는 많은 대화 상당수는 AI 이니셔티브와 관련된 위험과 보안 문제와 관련된 것이다.

그럴 만한 이유가 있다. 기업들은 자체 데이터와 규제에 의해 보호되는 데이터가 챗GPT와 같은 개방형 AI 도구에 제공되는 사례를 확인했다. 거기다 AI가 편향된 답변과 ‘환각’이라고 알려진 노골적으로 조작된 결과를 종종 내놓는 것을 알고 있다. 설명 가능성이 부족하여 인증하거나 검증할 수 없는 AI 결과를 얻기도 했다.

크로포드는 “AI를 쓰면 사용자는 물론 이를 사용하는 조직 전체에 여러 위험요소를 가져다줄 수 있다. 하지만 정작 AI를 쓰는 사람은 그 사실을 깨닫지 못하곤 한다”라고 표현했다.

물론 이런 위험성을 제거하기 위해 AI 사용을 처음부터 차단할 수 있다. 하지만 많은 CIO가 그러한 차단은 해답이 아니라고 보고 있다. 사실 AI를 차단해도 일부 직원은 계속해서 AI를 테스트할 가능성이 높기 때문에 사용을 금지한다고 해서 전면적으로 AI를 막기도 어렵다. 또한 기업에서 사용하는 많은 IT 제품과 서비스에 이미 AI 기능이 통합되고 있기 때문에 AI는 어쨌든 기업 내부로 들어오기 마련이다. 여기에 위험성에 대한 두려움 때문에 AI 사용을 금지하거나 제한하면 AI 이니셔티브를 추진하고 있는 경쟁업체에 비해 조직이 뒤처지며 불이익을 받을 수 있다.

CIO는 이러한 주제를 논의 테이블에 올려놓아야 한다. 또한 CIO는 이제 시행 가능성이 높은 규제에 대한 법적 요소를 검토하고 규제가 조직의 AI 아젠다에 어떤 영향을 미칠지 파악해야 한다.

크로포드는 “혁신을 장려하는 동시에 고객 데이터와 지적 재산을 보호해야 하는 CIO에게는 어려운 주제”라며 “CIO는 신중하게 말하게 말해야 한다. 자칫 새로운 기술을 반대하거나 지지하지 않는 사람으로 비칠 수 있다”라고 설명했다.

6. AI 전략에서 윤리적 문제를 어떻게 해결할 수 있을까?
미 텍사스주 정보자원부의 이사이자 텍사스주 CIO인 아만다 크로포드는 최근 기술적 논의를 진행할 때 AI 사용의 윤리적, 허용 가능한 매개변수에 대해 이야기하고 있다.

크로포드는 “우리는 최첨단 기술 조직을 되기를 원하지 않는다. 정부 기관으로서 의무와 책임이 있기 때문에 굳이 그렇게 하고 싶지는 않다. AI 같은 엄청난 파괴력을 가진 기술이든 다른 새로운 기술이든 마찬가지다”라며 “물론 그러다 보니 정부에서 움직이는 속도는 조금 더 느리다. 다만 우리가 하는 일의 특성상 좀 더 사려 깊고, 의도적이고, 조금 더 신중하려고 한다. 신뢰를 얻기 위해 노력하는 셈이다”라고 밝혔다.

그렇다고 해서 텍사스 주정부가 AI를 사용하지 않는다는 뜻은 아니다. 많은 민간 기업과 마찬가지로 텍사스 주 정부도 업무 전반에 걸쳐 챗봇, 지능형 자동화, 지능형 시스템을 구축했으며, 생성형 AI와 기타 최신 AI 기술을 사용할 수 있는 분야를 연구하고 있다.

크로포드는 “내부적으로 논의하고 있는 부분은 윤리 및 개인정보 보호 문제와 정부가 의무적으로 지켜야 할 헌법상 권리와 유권자의 프라이버시 권리 대한 것이다. 이런 것을 주로 이야기하며 의사 결정을 내리고 있다”라고 설명했다.

예를 들어, 텍사스주는 법률, 공공 정책, 모범 사례 또는 시민의 기대에 따라 지능형 시스템이 아닌 사람이 일부 작업을 수행해야 하는지에 대해 논의하고 있다.

크로포드는 “CIO로서 이러한 질문을 던지는 것이 나의 역할이라는 것을 자주 느끼고 있다”라며 “행정부 및 입법부 차원에서 안전대책을 마련해 줄 것을 나를 비롯해 공공 분야 IT 리더가 기대하고 있다”라고 덧붙였다.

정부 기관만이 AI의 윤리적 요소를 논의하는 것은 아니다. 민간 기업의 CIO도 AI 시스템이 편향된 결과나 환각을 일으킬 경우의 책임에 대해 경영진 동료들과 이야기하고 있다고 UST의 프라사드는 말했다. 이때 주로 AI 결과물을 추적하고 설명할 수 있는 방법과 그렇지 못할 경우 어떻게 해야 하는지에 대해 검토가 한창 이뤄지고 있다.

프라사드는 “AI를 통해 모든 종류의 일을 할 수 있지만 문제는 정말 그렇게 하고 싶은지 따져봐야 한다. 경영진은 물론 이사회와도 대화가 이런 부분에 이야기해 봐야 한다”라고 조언했다.
dl-ciokorea@foundryco.com