AI에 대한 리스크 프레임워크가 완전히 확립되지 않은 현 상황에서 새로운 위협은 끊임없이 나오고 있다. 지속적인 레드팀 모니터링은 필수적일 뿐만 아니라 보안을 위한 유일한 방법일 수 있다.
AI 모델은 사람들이 완전히 이해하지 못할 수도 있는, 진화하는 위협을 CISO에게 안긴다. 새로운 기능을 위해 지속적으로 데이터를 수집한다는 역동적 특성 때문이다. 전에 없던 위협에 노출될 가능성이 높기 때문에, 이를 막기 위해서는 지속적인 레드팀 테스트가 필요하다. 업계에서는 특히 AI 모델을 보다 본질적으로 안전하게 만드는 데 유용한 프레임워크와 가이드라인을 기다리고 있다.
대부분 기업이 직면한 문제의 핵심은 검색 증강 생성(RAG)에 있다. RAG는 AI 모델을 비즈니스별 소스 정보와 연결해 보다 구체적인 컨텍스트를 제공하는 창의적인 접근 방식이다. 이를테면 직원 기록이나 고객 계정의 데이터로 모델을 보완해 AI 모델의 가치를 높일 수 있다는 점에서 주목을 받고 있다. 하지만 데이터가 민감한 만큼 RAG는 데이터 손실 사고를 일으킬 가능성을 빠르게 높일 수 있다.
안타깝게도 기존 레드팀의 관심을 이쪽으로 돌리기만 하면 된다는 쉬운 해결책은 통하지 않는다. 이 분야에는 신속한 엔지니어링을 이해하는 숙련된 전문가가 부족하다. 따라서 널리파이(Nullify)의 설립자 토니 마오가 지적하듯 전통적인 접근 방식은 실패할 수 있다.
마오는 “LLM을 대상으로 유해한 응답을 생성하기 위해 악성 프롬프트를 작성하는 데에는 많은 전문가가 필요하다. 따라서 LLM을 레드팀화하는 작업은 힘들고 시간이 많이 소요된다. 때로는 전문가 수십 명에서 수백 명이 프롬프트를 작성하고, 응답을 평가하고, 새로운 프롬프트를 반복적으로 개발해야 할 수 있다”라고 지적했다.
AI 모델이 아직 초기 단계인 만큼, 지속적인 레드팀 모니터링을 수행하는 데 필요한 접근 방식과 도구를 개발하기 위해서도 해야 할 일이 많다. 그 과정에서 AI 모델 레드팀은 이런 활동을 감독하는 인간 부조종사를 가진 또 다른 봇이 될 가능성이 있다.
새롭게 부상 중인 알려지지 않은 위협
사이버팀은 전통적으로 AI팀과 많은 시간을 보내지 않았다. 기존의 위협과 사이버 리스크를 처리하느라 바빴기 때문이다. 리스크 관리에서는 이를 조명이 닿지 않는, ‘어두운 구석(dark corner)’이라고 부른다.
생성형 AI는 지난 수십 년 동안 등장한 어떤 기술보다도 더 많은 관심을 받고 있다. 따라서 CISO는 이런 위협을 무시해선 안 된다.
교육을 시작하기 좋은 지점은 현재 초안 상태인 ‘AI 머신러닝을 위한 OWASP 상위 10개’ 보고서를 검토하는 것이다. OWASP는 LLM에 대한 중요 취약점도 공개했으며, OWASP를 읽는 데 익숙한 사람이라면 비교적 쉽게 이해할 수 있다. 다만 AI LLM 모델은 수천 개에 달하며 그 수가 계속 증가하고 있기 때문에 리스크 관리 작업은 점점 더 어려워질 수밖에 없다.
이를 더 어렵게 만드는 요인이라면, 특정 조직에서 사용 중인 AI 모델의 전체 인벤토리를 사이버 보안팀은 물론 IT 부서에서도 관리하지 않을 가능성이 높다는 것이다. 위협을 효과적으로 관리하려면 이 문제를 먼저 해결해야 한다.
이런 AI 모델 중 상당수는 비즈니스에서 ‘섀도우 IT’로 소싱, 개발, 소유하고 있다. 직원들은 승인되지 않은 AI를 실험하기 위해 스스로 나서서 민감한 회사 데이터를 모델에 공급한다. IT와 사이버 보안이 주의를 기울이며 AI 모델이 여러 비즈니스 부서에 미치는 부정적인 영향을 폭로하기 시작한다는 것은 매우 정치적인 행동이 될 수 있다.
클라우드 보안 연합(CSA)은 AI 모델을 평가하고 비즈니스 환경에서 발생하는 새로운 위협을 식별하는 AI 컨트롤(AI Controls) 그룹을 운영하고 있다. 그룹은 최근 ‘CSA LLM 위협 분류법’이라는 보고서를 발간했다.
필자는 개인적으로 이 그룹에 속해 있으며, 지금까지 확인된 AI 모델 위협이 440개 이상이라는 점에 주목하고 있다. 440개가 넘는 위협은 사이버 직원이 거의 이해할 수 없을 정도로 새로운 영역이기 때문에 보안 관리자는 이를 반드시 확인하고 이해의 폭을 넓혀야 한다.
하지만 먼저 사이버 직원들이 AI 모델과 그 작동 방식을 이해하기 위한 교육을 받도록 해야 한다. CISO는 보통 팀이 ‘공격자처럼 생각’할 수 있기를 바라기 때문에, 이를 위해서는 완전히 새로운 접근이 필요할 것이다.
표적을 규제하기 위한 시도
한편 글로벌 규제 기관은 이미 이런 추세를 관찰하고 있으며, 새로운 규제와 AI 가이드라인을 ‘두텁고 빠르게’ 현장에 적용하는 식으로 대응 중이다.
NIST는 AI 위험 관리 프레임워크를, CISA는 AI 로드맵을 발표하는 등 유수의 독립 기관들이 나서고 있다. 또한 EU AI 윤리 가이드라인처럼 정부가 나서서 가이드라인을 수립하는 경우도 있다. 호주, 캐나다, 뉴질랜드, 영국, 미국으로 구성된 파이브 아이즈(FVEY) 연합도 보안 AI 가이드라인을 개발했다. 이는 대부분의 조직이 따르기에는 무리이더라도 각국의 공동 우려를 대변하는 권고 사항이다.
기업이 대응할 방법
설상가상으로 겹친 사이버 인재 부족과 로드맵 과중도 도움이 되지 않는다. 새로운 세상에는 현재 IT 부서에는 없는 새로운 기술이 필요하다. IT 부서에 AI 모델을 이해하는 직원이 몇 명이나 되는지 생각해 보고, 그 다음에는 사이버 보안과 AI 모델을 이해하는 사람이 얼마나 되는지 떠올려 보라. 그 답은 그리 희망적이지 않다.
기업이 이에 적응할 때까지 현재 고려할 수 있는 모범 사례로는 AI 사용 방법과 고려해야 할 위험 등을 포함한 생성형 AI 표준을 수립하는 것이 있다. 대기업에서는 생성형 AI 사용 사례를 저위험과 중/고위험으로 세분화하는 데 중점을 두고 있는데, 저위험 사례는 신속하게 진행할 수 있는 반면 중/고위험 사례는 새로운 위험 요소를 이해하고 의사 결정 과정에 포함시키기 위해 보다 강력한 비즈니스 사례가 필요하다.
정책과 가드레일은 기업이 위험 요소로부터 벗어나는 데 도움이 될 수 있다. 하지만 현재까지 사례는 거의 없으며, 리스크 프레임워크를 채택하고 적용하는 데는 보통 1~2년이 걸린다.
그때까지 대부분의 기업은 AI 모델을 사용하기 위해 어느 정도의 리스크를 감수해야 한다. 레드팀과 도구는 계속 발전할 것이며 도움을 줄 것이다. 다만 생성형 AI가 새롭고 복잡한 세계이기 때문에 데이터 유출 및 손실과 같은 심각한 사고가 발생할 수 있다는 사실을 받아들여야 한다.
사고가 발생하면 규제 당국의 조사는 더욱 강화될 수 있다. CIO와 CISO는 이 새로운 리스크를 관리할 부담이 늘어날 것을 예상해야 한다.
* David Gee는 금융 서비스 및 제약 업계에서 20년 이상 CIO, CISO를 비롯해 기술, 사이버, 데이터 위험 담당 임원으로 근무했다.dl-ciokorea@foundryco.com
