“다시 생각하고 다시 정렬하고” AI 시대를 위한 IT 재정비 전략

존슨에게 AI는 트랙터의 발명만큼이나 혁신적인 존재다. 악기 및 오디오 장비 온라인 유통업체 스위트워터(Sweetwater)의 CIO 겸 부사장 제이슨 존슨은 “농부가 트랙터의 도입으로 경작지를 2에이커에서 200에이커로 확장했던 것처럼, 우리는 직원들이 ‘200에이커’를 탐색할 수 있도록 지원하는 역할을 하고 있다”라고 말했다.

존슨은 이를 위해 IT 조직을 교육, 시연, 지원 활동을 통해 재구성하고 있다고 설명했다. 또, “이런 변화는 1960~70년대 컴퓨터가 기업에 본격 도입되기 시작했던 시기를 연상시킨다”라고 덧붙였다.

IT는 클라우드 전환, SaaS 도입, 데브옵스, 디지털 전환 등 큰 변화를 겪을 때마다 방향을 전환해야 했고, 자동화가 빠르게 대세로 자리 잡으면서 또다시 변화가 요구되고 있다. AI는 마치 폭주 기관차처럼 기업 환경에 들어왔고, 어떤 애플리케이션을 도입할지 고민하는 IT 부서에 극심한 스트레스와 급박함을 안기고 있다.

이에 따라 IT 인력 구성과 조직 방식, 그리고 비즈니스와의 협업 방식 전반을 재설계해야 한다. 생성형 AI, 에이전틱 AI, 머신러닝 등 다양한 형태의 AI가 가진 가치와 잠재력을 실현하기 위해서다.

복합 주거 자산 기업 노스랜드 인베스트먼트(Northland Investment)의 CIO 마이크 디베네데토는 “AI의 속도는 이전의 어떤 변화에서도 경험하지 못한 수준”이라고 평가했다.

올해 ‘CIO 현황 보고서(State of the CIO)’에 참여한 IT 리더 가운데 68%는 AI가 이미 또는 이제 막 IT 운영 방식을 바꾸고 있다고 답했고, 80%는 기술 스택에 AI를 추가하는 방안을 조사하거나 평가 중이라고 밝혔다. 이런 흐름에 따라, IT 조직이 AI 시대에 맞게 재정렬돼야 한다는 점은 분명해졌다. 트랙터 비유를 다시 빌리자면, 많은 CIO가 뚜렷한 목표 의식을 갖고 밭을 갈고 있는 셈이다.

효율성 향상

IT가 새로운 서비스를 개발하고, 변화하는 요구에 맞춰 팀과 프로세스를 진화시키는 일은 오랫동안 과제로 여겨져 왔다. 하지만 디베네데토와 마찬가지로, 존슨은 “AI 도입 이후 변화 속도가 훨씬 빨라졌다”고 말한다. 존슨은 “AI는 제한된 자원 속에서도 더 많은 결과를 내야 하는 상황에서 IT 부서가 변화에 발맞춰 나갈 수 있도록 돕는 도구와 지원을 제공한다”라고 밝혔다.

Sweetwater

존슨은 변화에 대응하기 위해 부서 간 협업 팀을 구성하고, 이를 통해 IT 직원과 고객 모두가 AI를 활용할 수 있도록 지원하고 있다고 밝혔다. 특히, “법무 및 컴플라이언스 부서와 긴밀하게 협력해 고객 데이터를 포함한 모든 데이터를 안전하고 규정을 준수하는 방식으로 사용하고 있다”라고 강조했다. 내부적으로는 IT 내 효율성을 높이기 위한 워킹그룹도 운영 중이며, 이들은 소프트웨어 개발 프로세스 개선, 서비스 데스크 해결 시간 단축 등의 과제를 맡고 있다.

스위트워터는 AI CoE(Center of Excellence)도 설립하고 데이터 과학 전문가를 배치했다. 이들은 통계적으로 유의미한 실험과 파일럿을 설계하고, 비즈니스를 가속화할 수 있는 영역에 AI를 적용하고 있다.

이와 유사하게, 주얼러스 뮤추얼(Jewelers Mutual)의 CIDO 겸 부사장 존 크루얼도 “고객에게 매끄럽고 개인화된 여정을 제공하기 위한 전담 부서 간 협업팀을 구성하고 있다”고 말했다. 크루얼은 협업 팀이 조직 전반에서 활용할 수 있는 마이크로서비스, 데이터, AI 플랫폼에 집중하고 있다고 덧붙였다.

IT는 보다 중요한 업무에 집중

AI는 워크데이(Workday) IT 부서의 셀프서비스 기능과 고객 응대 자동화 수준을 크게 끌어올렸다. 워크데이의 CIO 라니 존슨은 “덕분에 숙련된 상담 인력을 보다 의미 있는 업무에 재배치할 수 있었다”고 밝혔다.

이제 워크데이 IT 부서는 더 복잡한 문제를 해결하고, 사전에 지원을 제공할 수 있는 고도화된 AI 챗봇 개발에 집중하고 있다. 라니 존슨은 “이런 중심의 전환 덕분에 IT 인력이 자신의 전문성을 온전히 발휘할 수 있는 고부가가치 업무에 참여할 수 있게 됐다”라고 강조했다.

대표적인 사례로 라니 존슨은 워크데이 IT팀과 영업 운영팀이 공동 개발한 AI 인사이트 위젯을 꼽았다. 이 생성형 AI 기반의 맞춤형 도구는 영업 인력이 겪는 주요 문제를 해결하는 데 중점을 두고 있다. 라니 존슨은 “이전에는 계정 정보를 수집하는 데 계정당 1~2시간이 소요됐는데, AI 인사이트 위젯이 이 과정을 자동화해 귀중한 영업 시간을 확보하고 업무 속도를 높일 수 있게 됐다”라고 설명했다.

Workday

지속적인 개선, 변화, 협업에 초점을 맞추다

일부 CIO는 AI 도입이 IT의 근본적인 초점 자체를 크게 바꾸지는 않았다고 진단했다. 스위트워터의 제이슨 존슨은 AI를 “상당한 혁신”이라고 평가하면서도, 기술의 도입이 IT의 역할과 책임을 크게 바꾸지는 않았다고 말했다. 다만 “AI를 활용한 툴을 개발해 비즈니스의 속도와 효율성을 높이면서, 코드 리뷰 자동화, 소프트웨어 개발 가속, 비즈니스 분석 등에서 내부 구성원에게 미치는 영향은 상당하다”라고 덧붙였다.

존슨은 “AI는 우리가 비즈니스와 더 밀접하게 협업하도록 만들고 있다”라며, “예전에는 일회성 업무로 끝났던 작업이, 이제는 끊임없는 개선과 변화가 요구되는 형태로 바뀌고 있으며, 이는 지금까지와는 전혀 다른 양상”이라고 분석했다.

노스랜드 인베스트먼트의 마이크 디베네데토 역시 AI가 IT 조직 구조나 채용 방식에 큰 변화를 요구하지는 않았다고 밝혔다. 디베네디토는 “우리는 항상 조직 문화에 잘 맞고 배우는 데 열려 있는 인재를 찾는다. 끊임없이 배우려는 자세는 필수 조건이며, IT 부서에 앉아 있으면서도 ‘내가 하는 일이 조직 전체의 성공에 어떻게 기여하는가’를 이해할 수 있는 인재를 선호한다”라고 설명했다.

IT가 직원의 업무 프로세스에 AI 엔진을 도입하면, 직원은 해당 워크플로우에 익숙해져야 하며, 해당 프로세스가 관련 직원뿐 아니라 이후 단계에도 효과가 있는지를 점검해야 한다. 디베네데토는 “기술팀은 각 부서에서 무슨 일이 벌어지는지 이해해야 한다. 그것이 일상적인 업무든, 분기 목표든, 연간 계획이나 로드맵상의 과제이든 상관없다”라며, “그런 역량을 가진 사람을 우리는 지금도 뽑고 있고, 앞으로도 계속 뽑을 것이다. AI에 집중해 나가는 데 반드시 필요한 조건이라고 생각한다”라고 강조했다.

Northland Investment

디베네데토는 AI 활용이 증가함에 따라, IT가 “신뢰할 수 있는 파트너로 자리매김할 수 있는 흥미로운 기회를 맞이하고 있다”고 평가했다. IT는 단순히 기술을 이해하는 수준을 넘어서, LLM에 연결된 챗봇부터 AI 에이전트의 생성, 개별적인 필요에 맞춘 RAG나 SLM을 이용한 AI를 기반으로 한 맞춤형 애플리케이션과 맞춤형 응답까지 “AI의 발전과 밀접한 관계를 유지”해야한다.

주얼러스 뮤추얼의 존 크루얼은 AI 도입으로 인력 구성에 변화가 생겼으며, 데이터와 AI 자원에 대한 투자가 확대됐다고 밝혔다. 또한 IT 부서는 다양한 도구와 모델을 실험하고 있다고 전했다. 크루얼은 “우리는 기술에만 투자하는 것이 아니라, 회사 전체의 전략으로 AI를 접근하고 있다”라며, “AI를 최대한 활용하려면 전사적인 노력이 필요하다. 모든 구성원이 호기심을 갖고, 배우기를 원하며, AI에 대한 실험을 기꺼이 수행해야 한다”라고 강조했다.

하지만, AI 자체가 IT 부서 재구성의 직접적인 원인은 아니라고 지적했다. 크루얼은 “AI보다 중요한 것은 고객이 가치를 느낄 수 있는 제품과 서비스를 만들기 위한 새로운 업무 방식”이라며, “미래의 업무는 비즈니스, 데이터, 기술, 기능을 통합해 차별화된 고객 경험을 창출하는 방식이 될 것”이라고 전망했다.

Jewelers Mutual

자동화 역량에 대한 교육 확대

노스랜드 인베스트먼트의 마이크 디베네데토는 기술팀이 “이제 다양한 분야에 대해 정밀한 수준까지 속도를 맞추고 교육을 받고 있다”고 밝혔다. 예를 들어 “기존에 인프라나 클라우드에 집중하던 팀이 이제는 자동화와 관련 보안 요소에 대해 훨씬 더 잘 이해하게 됐다”라며, 역할에 대한 기대치가 변화하고 있기 때문이라고 덧붙였다.

디베네데토는 “변하지 않는 부분도 있다”라며, “기술이 실제로 일상 업무나 장기 목표에 어떤 실질적이고 측정 가능한 가치를 제공할 수 있는지, 이를 비즈니스 측과 다시 소통하고 연결해야 한다”라고 강조했다.

디베네데토는 앞으로도 IT의 역할은 기술 전도사라고 강조했다. 부동산 업계는 전통적으로 기술 조기 도입에 적극적인 산업은 아니지만, “우리 회사가 매일의 업무 수행에 최적화된 도구를 사용할 수 있는 환경으로 인식되기를 바란다”고 설명했다. 또 “AI가 흥미로운 도구로 받아들여지고, 기술팀과 비즈니스팀 사이에 기술 활용 방식에 대한 장벽이 존재하지 않도록 해야 한다”라고 덧붙였다.

스위트워터의 제이슨 존슨은 “AI를 모든 프로세스에 내재화하는 조직 문화를 조성하는 것이 IT 부서의 가장 중요한 과제”라고 강조했다. 제이슨 존슨은 AI 도입에는 학습 곡선이 분명 존재하기 때문에, 통합의 출발점은 교육이라고 본다. 제이슨 존슨은 “사람들이 AI를 어떻게 생각하고, 어떻게 활용할 수 있는지를 교육하는 동시에 따뜻한 지지와 배려가 필요하다”라고 말했다.

제이슨 존슨은 “스위트워터의 목표는 사람을 대체하는 것이 아니라, 더 생산적으로 만드는 데 있다”라며, “농부가 2에이커를 갈고는 하루 종일 낮잠을 자는 것이 아니라 200에이커의 땅을 찾아 나서는 것과 같다섰던 것과 같다”고 비유했다.

새로운 운영 원칙으로서의 AI

니어쇼어 소프트웨어 개발 회사 바이레스데브(BairesDev)의 CTO 저스티스 에롤린은 AI를 통해 4,000명 이상의 분산된 IT 인력을 재구성했다고 밝혔다. 에롤린은 “AI는 단순한 도구가 아니라, 전달 파이프라인, 인프라 관리, 고객 업무 전반에 내재화되는 새로운 운영 원칙”이라고 설명했다.

에롤린은 내부 엔지니어링 조직을 AI 기반 구조로 개편하고, 클라우드, 데브옵스, 데이터 과학, 서비스 전달팀 등 전사적인 AI 도입을 가속화하는 내부 추진 조직인 ‘AI 길드’를 통합하고 있다. 또한, 생성형 AI 기술에 능숙한 엔지니어 부족 문제를 해결하기 위해 사내 재교육 프로그램을 시작했으며, 자동화와 인간 전문성을 결합한 하이브리드 인재 모델을 제안하고 있다.

노스랜드 인베스트먼트는 AI 거버넌스를 위한 리더십 그룹 구성 초기 단계에 있다. 디베네데토는 “이 그룹은 전략적 기회를 식별하고, 시범 사업을 도입할 개별 구성원을 지정한 뒤, 확장 과정에서 피드백을 수집해 전체 프로그램에 반영하는 역할을 맡고 있다”고 설명했다.

끊임없이 변화하는 퍼즐로 인식되는 AI

스위트워터의 존슨은 AI를 “새로운 퍼즐 조각을 얻는 것과 같으며, 최근 등장한 그 어떤 기술보다도 더 빠르게 변하고 있다”고 평가했다. 존슨은 이를 위해 IT는 비즈니스 리더와 함께 지금 잘 작동하는 것과 그렇지 않은 것을 지속적으로 평가하고, 이에 따라 교육을 다시 진행하거나 자원을 재배치해야 한다고 설명했다. 존슨은 “다른 기술 변화처럼 AI도 저항할 수는 있지만, 그런 전략은 그리 현명하지 않다”라며, “개발자들과 그런 논의도 해봤다”라고 덧붙였다.

주얼러스 뮤추얼의 존 크루얼은 AI가 IT와 조직 전체를 어떻게 변화시키고 있는지에 대해 철학적인 시각을 드러냈다. 크루얼은 “오늘날처럼 빠르게 변화하는 세상에서는 모든 사람이 불편함을 기꺼이 받아들여야 한다. 변화 속도가 그 어떤 조직도 따라잡기 힘든 수준에 이르고 있다”라고 강조했다. 크루얼이 가장 큰 도전 과제로 꼽은 것은 “현재 운영을 유지하면서 동시에 미래로 나아가는 일이다, 이는 결코 쉬운 일이 아니다”라고 밝혔다.

현재 노스랜드 인베스트먼트의 IT 부서에서 AI 도입에 대해 큰 반발은 없다. 디베네데토는 다만 “미래에 대한 불확실성에서 비롯된 복잡한 감정은 존재한다”라고 밝혔다. 또 “물론 아무도 미래를 확실히 알 수는 없지만, 기술이 점점 주요 화두로 자리 잡고 있다는 점은 분명하다”라고 덧붙였다.

디베네테토는 지난 한 달 동안 “AI가 당신의 일을 대체하진 않을 수도 있지만, AI를 사용하는 사람이 AI를 쓰지 않는 사람을 대체할 수도 있다”는 말을 여러 번 들었다고 전했다.
dl-ciokorea@foundryco.com