전문가들은 레노버의 GPT-4 기반 챗봇에서 발견된 취약점이 전통적인 애플리케이션에 적용하는 보안 검증 수준을 AI 도구에는 적용하지 않은 채 도입하는, 기업 전반의 보편적 흐름을 보여준다고 지적했다.
레노버의 AI 기반 고객지원 챗봇에서 심각한 취약점이 발견돼, 공격자가 단 한 번의 악성 프롬프트로 세션 쿠키를 탈취하고 잠재적으로 고객지원 시스템에 무단 접근할 수 있었던 것으로 드러났다.
오픈AI의 GPT-4를 기반으로 한 레노버 챗봇 ‘레나(Lena)’는 입력과 출력 데이터 검증이 부실해 교차 사이트 스크립팅(XSS) 공격에 취약했다고 사이버뉴스(Cybernews) 연구진은 밝혔다. 연구진이 발견한 이 취약점은 공격자가 400자 분량의 정교한 프롬프트를 통해 악성 코드를 주입하고, AI 시스템을 속여 유해한 HTML 콘텐츠를 생성하도록 만들 수 있게 했다.
사이버뉴스 연구진은 “이 취약점은 제대로 구현되지 않은 AI 챗봇이 내포한 보안 위험성을 단적으로 보여주는 사례”라며 “특히 기업들이 엔터프라이즈 환경 전반에 AI를 빠르게 도입하는 상황에서 중요한 경고 신호”라고 설명했다.
연구진은 보고서를 통해 “챗봇이 환각을 일으키고 프롬프트 인젝션에 속을 수 있다는 사실은 이미 잘 알려져 있다”며 “진짜 놀라운 점은 레노버가 이러한 문제를 인식하고도 악의적인 사용자 조작이나 챗봇 출력으로부터 스스로를 보호하지 못했다는 것”이라고 전했다.
레노버는 이번 사안에 대한 코멘트 요청에 즉각 응하지 않았다.
공격 방식
이번 취약점은 AI 시스템에서 입력·출력 검증이 제대로 이뤄지지 않을 경우 연쇄적인 보안 실패가 발생할 수 있음을 보여줬다. 연구진은 정상적인 제품 문의로 시작해 답변을 HTML 형식으로 변환하도록 지시한 뒤, 이미지가 로드되지 않을 때 세션 쿠키를 탈취하는 코드가 삽입된 프롬프트를 통해 챗봇을 속였다.
레노버의 레나가 이 악성 프롬프트를 받았을 때, 연구진은 “대형 언어모델(LLM)을 괴롭히는 문제는 여전히 ‘사용자 맞추기(people-pleasing)’”라며 “이번 사례에서도 레나는 우리의 악성 페이로드를 그대로 받아들였고, 이로 인해 XSS 취약점이 발생해 세션 쿠키를 탈취할 수 있었다”고 지적했다.
보안업체 앱오므니(AppOmni)의 AI 총괄 멜리사 루치는 “이번 사건은 생성형 AI에서 잘 알려진 프롬프트 인젝션 문제를 다시 한 번 보여준다”고 말했다. 이어 “AI가 접근할 수 있는 모든 데이터를 면밀히 관리하는 것이 무엇보다 중요하다”며 “이는 단순히 읽기 권한에 국한되지 않고 수정 권한까지 포함하는 경우가 많기 때문에, 이러한 공격은 훨씬 더 파괴적인 결과로 이어질 수 있다”라고 경고했다.
기업 전반에 미치는 파장
이번 취약점의 직접적인 영향은 세션 쿠키 탈취에 그쳤지만, 그 함의는 단순한 데이터 유출을 훨씬 넘어섰다.
연구진은 동일한 취약점을 통해 공격자가 고객지원 화면을 변조하거나 키로거를 배포하고, 피싱 공격을 실행하며, 시스템 명령을 내려 백도어를 설치하고 네트워크 인프라 전반에 횡적으로 이동할 수 있다고 경고했다.
연구진은 “탈취한 지원 담당자의 세션 쿠키를 사용하면 해당 계정으로 고객지원 시스템에 로그인할 수 있다”며 “이는 단순히 쿠키 탈취에 그치지 않고, 일부 시스템 명령 실행을 통해 백도어 설치와 다른 서버 및 PC로의 확산까지 가능하다”고 설명했다.
CISO를 위한 보안 시사점
이번 사건은 보안 리더들에게 AI 도입 방식에 근본적인 변화가 필요하다는 점을 다시 확인시켰다.
에베레스트 그룹(Everest Group)의 이사 아르준 초한은 “이번 취약점은 대부분의 기업이 현재 어떤 상태에 있는지를 잘 보여준다”라며 “기업들은 고객 경험 개선을 위해 AI 챗봇을 빠르게 도입하면서도, 기존 고객 접점 애플리케이션에 적용하는 보안 검증 수준을 동일하게 적용하지 않고 있다”라고 지적했다.
문제의 핵심은 기업들이 AI 시스템을 미션 크리티컬 애플리케이션이 아닌, 단순한 실험적 프로젝트로 취급하면서 필요한 보안 통제를 적용하지 않는다는 점이다.
초한은 “여전히 많은 조직이 대규모 언어모델(LLM)을 ‘블랙박스’로 간주해 기존 앱 보안 파이프라인에 통합하지 않는다”라며 “CISO는 AI 챗봇을 시험 단계가 아닌 완전한 애플리케이션으로 취급해야 한다”라고 표현했다.
이는 웹 애플리케이션 수준의 보안 검증을 동일하게 적용하고, AI 응답이 직접 코드 실행으로 이어지지 않도록 방지하며, 프롬프트 인젝션 공격에 대한 전용 테스트를 수행하는 것을 의미한다.
앱오므니의 멜리사 루치는 “기업은 프롬프트 엔지니어링 모범 사례를 최신 상태로 유지해야 하며, AI가 프롬프트 내용을 해석하는 방식을 제한하는 추가 검증을 구현하고, AI의 데이터 접근을 모니터링하고 통제해야 한다”라고 권고했다.
연구진은 AI 챗봇 시스템을 거치는 모든 데이터 흐름에 대해 “신뢰하지 말고 항상 검증하라(never trust, always verify)”는 원칙을 적용해야 한다고 조언했다.
혁신과 위험의 균형
레노버 사례는 조직이 적절한 보안 프레임워크 없이 AI 기술을 성급히 도입할 때 발생할 수 있는 보안 문제를 잘 보여준다. 초한은 “AI 시스템은 적대적 입력에 대해 예측 불가능하게 반응하기 때문에 전통적 보안과는 근본적으로 다른 위험 프로필을 가진다”고 경고했다.
업계 통계에 따르면, 2024년에는 자동화된 봇 트래픽이 전체 웹 트래픽의 51%를 차지하며 처음으로 인간 트래픽을 넘어섰다. 이번 취약점 유형은 OWASP가 발표한 LLM 취약점 상위 10개 항목과도 일치하며, 프롬프트 인젝션은 이 목록에서 1위를 기록했다.
루치는 “AI 챗봇은 또 다른 SaaS 애플리케이션으로 봐야 하며, 데이터 접근 권한 설정 오류가 곧바로 데이터 유출로 이어질 수 있다”며 “지금은 그 어느 때보다 AI 구현 과정에 보안을 내재화해야 한다. AI 기능을 빠르게 출시하라는 압박이 크지만, 이는 적절한 데이터 보안을 희생해서는 안 된다”고 언급했다.
초한은 “레노버 사례는 프롬프트 인젝션과 XSS가 단순한 이론적 개념이 아니라 실제 공격 벡터임을 보여준다”며 “기업은 AI의 신속한 가치 창출과 보안 사고로 인한 평판·규제 리스크를 반드시 저울질해야 하고, 지속 가능한 길은 보안을 설계 단계에서부터 반영하는 것(security-by-design)뿐”이라고 강조했다.
사이버뉴스 보고서에 따르면, 레노버는 연구진의 책임 있는 공개 이후 해당 취약점을 이미 수정했다.
dl-ciokorea@foundryco.com
