딥페이크는 현실과 가상의 경계를 모호하게 만들고 있다. 이는 결과적으로 돈과 개인 데이터, 오랜 평판이 얽혀 있는 금융 정보 산업에 치명적인 결과를 초래할 수 있다. CIO와 사이버 보안 전문가들은 이런 AI의 어두운 면을 어떻게 인식하고 있을까?
‘백문이 불여일견’이라는 격언을 믿고 살던 시대가 있었다. 하지만 이제는 아니다. 인공지능은 단순한 알고리즘에서 정교한 시스템으로 빠르게 발전해 왔지만, 그중에는 더 혼란스러운 제품으로 출현한 ‘딥페이크’도 있다.
지금은 명사로 사용되는 딥페이크는 원래 AI를 사용해 영화, 이미지 또는 오디오를 제작하거나 수정해 실제처럼 보이게 하는 과정을 말한다.
2022년 뭄바이의 한 에너지 기업의 대규모 가격 인상을 선언하는 CEO의 딥페이크 오디오가 퍼지면서 회사 주가가 일시적으로 폭락한 사건이 있었다. 사건의 진상은 빠르게 밝혀졌지만, 수십 년에 걸쳐 쌓아온 신뢰를 딥페이크가 한순간에 무너뜨릴 수 있다는 무서운 현실을 보여줬다.
‘불신’ 요소
현실과 가상의 경계가 모호해지는 가운데, 금융 정보 업계만큼 신뢰가 크게 약화된 산업도 없다. 제로다(Zerodha)의 CEO인 니킬 카마스가 자신의 딥페이크 동영상을 공유했을 때, 아무리 이성적인 사람이라도 속을 수 있다는 사실이 분명해졌다.
그는 “현재 디지락커(Digilocker)나 아드하르(Aadhar) 같은 서비스는 신분증과 얼굴을 대조해 승인한다. 딥페이크가 발전할수록 상대방이 진짜 사람인지, 아니면 AI 가 생성한 이미지인지 검증하는 것이 더 어려워질 것”이라고 경고했다.
액시스 뮤추얼 펀드의 CTO인 뱀시 이탐라주는 “딥페이크가 비즈니스 리더를 사칭해 주가나 시장 역학에 영향을 줄 수 있는 허위 정보를 주장하는 경우를 생각해 보라. 이는 경제에 심각한 문제를 초래할 수 있다”라고 말했다.
이런 시나리오는 특히 인도와 같이 초고속 인터넷과 통신 앱으로 사진과 동영상을 거의 확인 없이 몇 초 만에 공유할 수 있는 국가에서는 시민들에게 불안한 영향을 미친다.
규칙 준수
기술에 대한 대중의 신뢰는 타당한 근거 없이는 구축될 수 없다. 기술 발전 속도를 따라잡기 위해서는 거버넌스 및 모니터링 시스템이 필요하다.
CIO들은 딥페이크가 조직, 평판, 경제에 해를 끼치지 않고 공공 영역에 머물 수 있도록 하기 위해서는 정부 기관의 강력한 권한이 필요하다고 주장했다.
고드레이 캐피털의 CTO인 조티라타 비는 “정부는 AI의 윤리적 사용을 감독하고 규정 준수를 강제하는 규제 기관을 설립하고, 대중 인식 캠페인을 통해 딥페이크의 위험성을 교육해야 한다”라고 말했다. 그는 다단계 인증 및 생체 인증과 같은 강화된 인증 프로토콜이 딥페이크의 악용 위험을 줄일 수 있다고 덧붙였다.
기술 법률 전문가이자 파트너인 쿠시부 자인은 딥페이크로 인한 위험을 해결하기 위해서는 다각적인 규제 접근 방식과 함께 여러 이해관계자의 협업으로 대중의 인식을 제고시켜야 한다고 주장했다.
그러나 그는 법만으로 충분하지 않다는 점을 인정하며 “투명성, 포용성, 사전 예방적 자율 규제를 우선시하는 AI 윤리적 거버넌스 프레임워크로 강력한 법적 억제력을 보완해야 한다”라고 설명했다.
윤리적 딜레마
AI가 현대 생활의 일부로 자리 잡으면서, 그 부정적인 영향에 대한 우려는 곧바로 ‘반진보적’인 주장으로 치부되고 있다.
그러나 CIO들은 딥페이크가 제기하는 윤리적 난제를 잘 알고 있다. 바자 알리안츠 보험의 수석 사장인 KV 디푸는 AI가 운영 효율성을 최대 30%까지 높일 수 있지만 데이터 프라이버시, 알고리즘 편향성, 투명성과 관련된 중대한 윤리적 문제를 야기한다고 강조한 맥킨지의 보고서를 인용했다.
HDFC 은행의 은퇴 기술 부문 CTO인 에이제이 포다르는 큰 힘에 큰 책임이 따른다고 단호히 말했다. 그는 “평판 손상과 법적 문제를 피하기 위해 조직은 AI 혁신과 함께 윤리적인 영향도 고려해야 한다”라며 자신의 전략을 다음과 같이 분류했다.
• 윤리 가이드라인 및 투명성
• 리스크 완화 및 평가
• 인적 감독 및 책임
한편 이탐라주는 수많은 윤리적 딜레마와 프라이버시 보호 리스크에 대처하기 위해, 인간 사용자가 머신러닝 알고리즘의 생성 결과물을 이해하고 신뢰할 수 있도록 하는 일련의 프로세스와 방법인 ‘설명 가능한 AI(XAI)’를 제안했다.
그에 따르면 XAI는 AI의 ‘블랙박스’ 같은 특성을 없애는 데 도움이 되며, 개발자가 불투명한 AI의 특성을 투명하고 만들고 올바르게 실행되는지 확인하며 필요한 경우 변경할 수 있도록 지원한다. 이는 공정성, 모델 설명 가능성을 갖춘 책임감 있는 AI 구현의 원칙 중 하나로 떠오르고 있다.
범위 설정 솔루션
금융 분야에서는 데이터와 돈이라는 2가지 자산이 표적이 되기 때문에 특히 무방비 상태다. 방화벽을 뚫는 대신 사람들의 혼란과 공포를 노리는 사기꾼들에게 수익성이 높은 것으로 입증됐다. 이런 수법은 또한 딥페이크 공격의 배후를 추적하기를 더 어렵게 만든다.
포다르가 언급한 것처럼 여기에는 규제와 혁신 사이의 균형이 필요하다.
그는 “규제 당국은 딥페이크 관련 범죄에 대해 더 엄격한 처벌, 특히 금전적 처벌과 같은 특정 규칙을 시행할 수 있다. 조직과 플랫폼은 딥페이크 이미지나 동영상에 워터마크를 첨부해야 할 의무가 있다”라고 말했다. 또한 그는 악의적인 딥페이크의 유통 증가에 대응하기 위해 윤리적 AI 개발이 중요하다고 강조했다.
궁극적으로 딥페이크 방어를 구축하는 강력한 기둥은 일반 대중의 인식이다. 이를 위해서는 미디어 이해 능력이 필요하다는 데 많은 CIO가 동의하고 있다. 정보, 이미지, 비디오의 배포는 돌이킬 수 없을 정도로 변화했으며, 채널과 플랫폼은 더 이상 과거와 같은 영향력과 모니터링 기능을 갖지 않는다. 미디어는 지리적, 인구 통계학적인 국경을 초월했으며, 사람들이 온라인에 자신의 삶을 공유하면서 돈, 평판, 직업이 위태로워지고 있다.
CIO들은 딥페이크가 현실을 지우려고 시도하는 지금이야말로 향후 방어책이 될 표준을 마련하는 데 중요한 시기라고 언급했다. 사이버 변호사이자 정책 전문가인 프라샨트 말리는 딥페이크가 법과 엄격한 시행을 통해 검열되지 않는다면 사회 구조를 파괴하는 AI의 대혼란이 일어날 수 있다고 경고했다. 이는 특히 인프라가 부족한 시골 지역이 많은 인도에서 중요한 사항일 수 있다. 그는 “정부가 시골에 도달하는 모국어 딥페이크에 대해 사람들을 교육하는 데 자금을 투자해야 한다”라고 말했다. dl-ciokorea@foundryco.com
