AI 4사, 크롤링 거부 공통 신호 도입

ai.euno.news 자동 뉴스 요약

OpenAI·구글·마이크로소프트·앤스로픽이 웹사이트 운영자가 여러 AI 크롤러에 콘텐츠 수집 거부 의사를 한꺼번에 전달할 수 있는 공통 신호를 도입한다. 지금까지는 AI 회사마다 별도로 설정해야 했지만, 새 방식은 웹사이트의 robots.txt 파일에 공유 ‘정책 토큰(policy token)’을 넣어 학습 목적의 접근을 통제한다.¹

이 정책 토큰은 앤스로픽의 표준 담당 기술 책임자 케빈 켈리(Kevin Kelley)가 국제인터넷표준화기구(IETF)에 제안했다. robots.txt는 검색 색인이나 웹 보관, AI 학습 등에 쓰이는 크롤러의 접근 범위를 알리는 파일이다. 새 신호가 자리 잡으면 운영자는 크롤러별 규칙을 일일이 지정하지 않고도 여러 AI 업체에 같은 학습 정책을 적용할 수 있다.

도입 시점은 회사마다 다르다. 앤스로픽은 이미 정책 토큰을 지원하고 있으며, OpenAI는 “수개월 안에” 구현할 계획이다. 구글과 마이크로소프트는 2027년 지원을 예고했다. 네 회사는 공유 토큰을 발견하면 자사 AI 크롤러의 사이트 접근을 제한하겠다고 밝혔다.

다만 크롤링 거부가 검색 노출까지 막는 것은 아니다. 마이크로소프트는 AI 학습과 ‘AI 그라운딩(AI grounding)’을 구분해 거부할 수 있는 세부 설정을 제공한다. AI 그라운딩은 환각을 줄이기 위해 모델을 검증된 정보원과 연결하는 절차다. 어떤 설정을 선택해도 웹사이트는 빙 검색 결과에 계속 표시된다. 구글 역시 검색 노출에 영향을 주지 않으면서 콘텐츠의 AI 검색 기능 사용과 AI 학습 사용을 따로 통제하는 비슷한 기능을 이미 운영해 왔다.

이번 합의는 AI 크롤러의 지속적인 콘텐츠 수집에 대응하려는 출판사의 요구가 커진 가운데 나왔다. 출판사가 크롤러에 이용료를 부과할 수 있게 하는 RSL(Really Simple Licensing), AI 크롤러를 기본 차단하는 클라우드플레어의 조치에 이어 공통 거부 신호가 추가되는 셈이다.

메타도 방향에는 동의했지만 실제 준수 여부는 확정하지 않았다. 앤디 스톤 메타 커뮤니케이션 책임자는 여러 사업자에게 한 번에 의사를 전달하는 공통 신호가 중요한 진전이라고 평가하고 업계 표준과 구현 논의에 참여하겠다고만 밝혔다. 정책 토큰 역시 IETF에 제안된 단계인 만큼, 네 회사 밖으로 얼마나 확산될지는 아직 확인되지 않았다.¹

읽기 목록은 이 브라우저에 저장됩니다.