사이버 범죄자가 더 효과적인 공격을 위해 AI를 사용하기 시작했다. AI의 사용 용도는 피싱을 위한 더 나은 미끼를 만드는 것 그 이상이다.
사이버보안 업체 인텔 471(Intel 471) 연구팀은 최근 발표한 새로운 연구 보고서 ‘사이버 범죄자와 AI: 더 나은 피싱 그 이상(Cybercriminals and AI: Not Just Better Phishing)‘에서 합법적인 비즈니스와 마찬가지로 범죄자 사이에서도 AI에 대한 논의가 2023년보다 가속화하고 있다고 분석했다.
보고서에 따르면, 사이버 공격자는 AI 기술을 면밀히 관찰하고 실험하고 있다. 일부는 딥페이크 동영상 제작, 안면 인식 무력화, 탈취한 데이터 요약과 같은 작업에 AI를 사용하고 있다고 업체 측은 주장했다. 해킹 툴에 AI를 탑재하거나 악성 챗봇을 만드는 경우도 파악됐다. 특히 연구팀은 “AI가 사이버 범죄에 미친 가장 큰 영향은 아마도 딥페이크 기술을 활용한 사기 증가일 것”이라고 말했다.
이런 사기 중 일부는 피해자의 목숨까지 앗아간 사례도 있다. 연구팀은 나이지리아에 기반을 둔 사이버 범죄 집단 ‘야후 보이즈(Yahoo Boys)’ 사례를 언급했다. 야후 보이즈는 로맨스 스캠 및 성 착취 범죄에 딥페이크로 제작한 가짜 페르소나로 피해자의 신뢰를 얻었다. 이들은 피해자에게 음란한 사진을 공유하도록 설득한 다음, 돈을 지불하지 않으면 공개하겠다고 협박했다. 인텔 471 연구팀은 표적이 된 피해자 중 상당수는 미성년자이며, 일부 피해자는 자살한 경우도 있다고 설명했다.
AI, 사이버 범죄자 생산성도 향상
연구팀 조사 결과, 2023년 1월 이후 딥페이크 상품 종류가 많아졌고 가격도 저렴해진 것으로 확인됐다. 한 사이버 공격자는 AI 툴을 사용해 오디오 및 비디오 딥페이크를 생성한다고 주장했는데, 비용은 복잡성에 따라 분당 60~400달러(약 8만~55만 원)다. 연구팀은 2023년 가격과 비교하면 저렴해진 것이라고 설명했다. 또 다른 공격자는 이미지와 동영상 속 얼굴을 하루에 300번 교체할 수 있는 툴을 연간 구독료 999달러(약 137만 원)에 제공하기도 한다.
BEC(Business Email Compromise) 사기와 문서 사기에 AI를 사용하는 범죄자도 있다. 인텔 471 연구에 따르면, 한 업체는 AI를 사용해 택배 송장을 조작하고 당사자 간 통신을 가로채고 은행 계좌 번호와 같은 정보를 변경해 사기범에게 지불을 유도하는 툴을 개발했다고 한다.
연구팀은 “송장 조작 툴은 모든 PDF 문서를 감지 및 편집하고 IBAN(International Bank Account Number)와 BIC(Bank Identification Code)를 교환하는 기능을 포함한 다양한 기능을 갖춘 것으로 알려져 있다. 해당 도구는 월 5,000달러(약 686만 원) 또는 일회성으로 1만 5,000달러(약 2,057만 원)를 지불하는 구독 방식으로 제공된다. 제대로 작동한다면 작업 생산성을 향상하는 AI 사용례를 충족하는 것이지만, 여기서는 범죄 맥락에서 이뤄진다”라고 지적했다.
또한 다른 범죄자는 데이터 유출 결과물에서 가장 민감한 데이터를 추출해 피해자에게 몸값을 지불하도록 압력을 가하는 데 메타의 LLM 라마(Llama)를 사용한다고 주장했다.
다만 인텔 471 연구원 제레미 커크는 AI 사용에 대한 모든 주장이 정확하지 않을 수 있다고 지적했다. 커크는 이메일에서 “인텔 471은 위협 행위자의 주장임을 나타내기 위해 ‘추정(purportedly)’이라는 단어를 사용하며, 제품에 AI의 통합 여부, 사용하는 LLM 등의 정보는 불분명할 때가 많다”라고 말했다.
이어 “사이버 범죄 도구 개발자들이 상업적 이익을 위해 시류에 편승하고 있는지 여부와 관련해서는, AI가 사이버 범죄 활동에 어떻게 도움이 될 수 있는지 진정성 있는 노력을 기울이고 있는 것으로 보인다. 지하 시장은 경쟁이 치열하며 특정 서비스나 제품에 대한 공급업체가 2개 이상 있는 경우가 많다. 자사 제품이 다른 제품보다 더 잘 작동하도록 만드는 것이 상업적 이득을 가져다주는데, AI가 도움이 될 수 있다”라고 덧붙였다.
새로운 위협의 등장
인텔 471 연구팀은 일리노이대 어바나-삼페인(UIUC) 컴퓨터 과학자 4명이 오픈AI의 GPT-4 LLM을 사용해 LLM에 대한 CVE 권고를 제공함으로써 실제 시스템의 취약점을 자율적으로 악용하는 데 성공했다는 등의 의심스러운 주장을 다수 확인했다. 그러나 해당 연구에 대해 연구팀은 “에이전트 코드, 프롬프트 또는 모델의 출력과 같은 연구의 핵심 요소 상당수가 공개되지 않았기 때문에 다른 연구자들이 정확하게 재현할 수 없어서 다시 회의론이 제기되고 있다”라고 지적했다.
이밖에 보고서에는 CVE 데이터를 스크랩하고 요약하는 툴을 제공하는 공격자도 언급됐으며, 인텔 471 연구팀이 ‘잘 알려졌다’라고 밝힌 AI 모델을 사용해 네트워크 스캔, 콘텐츠 관리 시스템의 취약점 식별, 악성 스크립트 코딩에 이르기까지 모든 작업을 수행하는 다목적 해킹 툴을 개발했다고 주장하는 공격자의 사례도 있었다.
또한 연구팀은 AI 사용이 증가함에 따라 새롭게 등장하는 몇 가지 위험도 강조했다. 예를 들면, 구글의 새로운 ‘생성형 검색 경험(Search Generative Experience, SGE)’ 기능을 통해 사용자를 악성 사이트로 안내하는 추천 생성, AI 애플리케이션의 취약점 생성하는 사례가 대표적이다.
국가 후원을 받거나 기타 악의적인 사이버 공격 집단이 여러 종류의 공격에 LLM을 사용하는 것도 관찰됐다. 연구팀은 마이크로소프트와 오픈AI의 공개 블로그 게시물을 인용해 러시아, 북한, 이란에서 각각 1곳씩, 중국에서 2곳씩 총 5곳의 국가 후원 공격 집단을 식별했다. 이에 대응하기 위해 미 연방통신위원회, 미 국토안보부, 영국 정부 등 여러 정부 기관이 AI의 안전과 보안을 위해 모니터링 및 규제 조치를 취하고 있다고 연구팀은 강조했다.
더 악화될 것
인텔 471은 과거에는 AI가 사이버 범죄에서 ‘작은 보조 역할’만 수행했지만, 이제는 그 역할이 커졌다고 결론지었다. 연구팀은 딥페이크, 피싱, BEC 활동과 함께 LLM의 콘텐츠 생성 능력에 힘입은 허위 정보 캠페인이 증가할 것으로 예상했다.
아울러 연구팀은 “LLM이 취약점을 발견하고 익스플로잇 코드를 작성 및 테스트한 후 자율적으로 취약점을 공격할 수 있게 되면 보안 지형이 크게 변할 것이다. 스팸 퇴치부터 맬웨어 탐지에 이르기까지 보안 업계에서 AI/ML은 오랫동안 사용돼 왔다. AI는 최소한 더 빠른 공격뿐 아니라 더 빠른 방어에도 도움이 될 수 있다. 공격자가 우위를 점하고 방어자가 따라잡는 경우도 있겠지만, 이는 현재 상황과 크게 다르지 않다”라고 말했다.
이어 “사이버 범죄자가 AI를 어떻게 사용할 수 있는지에 대한 가드레일이 적고 악의적으로 사용될 수 있는 정보나 코드에 대한 프롬프트가 허용되는 LLM과 AI 모델의 지원 폭에 따라 달라질 것”이라고 덧붙였다.
editor@itworld.co.kr
