클라우드플레어가 AI 봇을 막기 위한 기능을 추가했다고 3일 밝혔다.
클라우드플레어는 공식 블로그를 통해 “생성형 AI의 인기로 모델 학습이나 추론 실행에 사용되는 콘텐츠 수요가 급증하고 있다. 웹 스크래핑 봇을 투명하게 운영하지 않는 일부 AI 기업이 무단으로 콘텐츠를 가져가는 사례도 발생하고 있다”라며 “클라우드플레어 고객이 자신의 웹사이트를 방문하는 AI 봇, 특히 부정하게 방문하는 봇을 차단할 수 있도록 새로운 기능을 추가했다”라고 설명했다.
이번에 새롭게 출시한 기능은 클릭 한 번으로 클라우드플레어 고객 누구나 활성화할 수 있다. 무료 사용자도 이용 가능하며, 클라우드플레어 대시보드의 보안>봇 섹션으로 이동하여 AI 스크레이퍼 및 크롤러라고 표시된 토글을 클릭만하면 된다. 해당 기능이 활성화되면 클라우드플레어 자체 기술로 봇 점수를 계산하며, AI 봇을 식별하고 막는다.
클라우드플레어는 “봇 탐지를 회피하기 위해 기존 감지 규칙을 우회하여 콘텐츠에 접근하려는 AI 회사가 계속 나올 것으로 보인다”라며 “클라우드플레어는 머신러닝 모델을 고도화하고 AI 스크래핑 및 크롤러 규칙에 더 많은 봇 차단을 추가하여, 콘텐츠 제작자가 인터넷에서 성장할 수 있는 환경을 제공할 것”이라고 설명했다.
AI 학습을 위해 웹사이트 크롤링을 무단으로 하는 일이 많아지자, 직접 봇을 차단하는 노력에 투자하는 기업도 늘고 있다. AI 콘텐츠 검증 기술 기업 오리지널리티AI의 연구에 따르면, 상위 1,000개 사이트 중 약 26%가 오픈AI의 봇을 차단한 것으로 나타났다. 로이터 기자 벤 웰시가 분석한 자료에 따르면, 뉴스 기업 600개 이상이 AI 봇을 차단하기도 했다.
jihyun.lee@foundryco.com
