AI エージェントクローラーには許可が必要に。取得方法とは

記事の3ポイント

1. 1

   新しい3カテゴリ分類とデフォルト変更

   Cloudflare は7月1日から「Search」「Agent」「Training」の3カテゴリを導入し、9月15日以降は広告掲載ページで「Agent」と「Training」をデフォルトでブロックする。

2. 2

   広告ありページの保護とロジック

   同社は広告が人間向けのコンテンツであることを示す証拠とし、検索クローラー（参照）は許可される一方、エージェントによる読み取り（回答生成）はブロックする方針を示した。

3. 3

   Googlebot への影響と分離の要請

   Search と Training の両方の機能を兼ねる Googlebot は、Training をブロックすると検索機能も阻害されるため、Cloudflare はクローラーの用途分離を促している。