오픈AI가 허위정보 확산에 자사 도구가 활용된 사례를 분석한 보고서를 30일 공개했다. 주로 러시아, 이스라엘, 이란, 중국에서 만든 계정에서 이러한 활동이 발견됐으며, 오픈AI는 해당 계정이 정부 또는 민간 기관과 관련돼있었다고 밝혔다.
오픈AI는 지난 3개월간 자사의 AI 모델 및 서비스를 이용해 부적절한 활동을 주도한 계정을 찾았으며, 최종적으로 5개 공작이 발견됐다고 설명했다.
오픈AI가 발견한 사례에 따르면, 러시아의 한 계정은 텔레그램용 봇을 실행하고, 러시아어와 영어로 정치 관련 덧글을 생성하고 있었다. 또 다른 러시아 계정은 영어, 프랑스어, 독일어, 이탈리아어, 폴란드어로 X 등 여러 소셜 미디어를 위한 덧글을 생성하고 해당 덧글 내용을 기반으로 한 기사 콘텐츠를 만들고 확산하고 있었다.
중국에서도 비슷한 활동이 감지됐다. FBI가 공동으로 조사한 자료에 따르면, 중국 계정은 오픈AI 모델을 활용해 소셜 미디어에 올라온 글을 분석하고, 한국어, 영어, 일본어, 중국어로 텍스트를 생성하고 X, 미디엄 등에 게시하고 있었다. 이때 내용은 중국 정부 활동을 찬양하거나 중국에 비판적인 인물과 관련된 부정적인 표현이 담고 있었다.
이란과 이스라엘의 일부 계정도 오픈 AI 기술을 활용해 자국 정부에 우호적인 소셜미디어 콘텐츠와 기사를 생성하고 있었다. 단, 오픈AI는 “모든 작전이 AI를 일부만 사용한 것이지 AI로 모든 작업을 자동으로 수행하진 않았다”라며 “공격자뿐만 아니라 방어자 역시 AI로 몇 주 또는 몇 달이 걸리던 조사를 며칠 만에 완료하면서 공격 분석을 효과적으로 수행할 수 있었다”라고 설명했다.
가디언은 “이번에 발견된 AI 기반 허위 정보 캠페인은 엄청난 피해를 만들지는 않았다. 하지만 앞으로 악의적인 공격자가 생성형 AI를 통해 프로파간다 제작을 더 확대할 수 있다는 것을 보여줬다”라며 “이제 AI 도구를 사용하면 콘텐츠 작성, 번역, 게시를 더 효율적으로 수행할 수 있어 허위 정보 확산 활동은 더욱 쉬워질 것”이라고 평가했다.
오픈AI는 앞으로 자사 AI 기술이 부적절한 활동에 도입된 사례를 주기적으로 보고서 형태로 발표하며, 정책을 위반하는 계정을 삭제하겠다고 밝혔다.
jihyun.lee@foundryco.com
