ネチズンからサイバー菩薩と呼ばれる CloudFlare は最近、すべての無料ユーザー向けに AI クローラー保護設定を開始しました。この機能は実際には以前から利用可能でしたが、ルールに従って設定する必要があります。ルール機能を利用するにはCloudFlareProなどのサブスクリプションプランが必要です。
新しく開始された AI クローラー保護 (AIScrapers および Crawlers) は、すべてのユーザーがワンクリックで設定できます。無料ユーザーでも購読ユーザーでも、ワンクリックでこのオプションをオンにするだけです。
CloudFlareによると、このオプションをオンにすると、ロボットやクローラーが人工知能モデルをトレーニングするためにWebサイトのコンテンツを巡回することがなくなり、一部の人工知能企業が許可なくWebサイトのコンテンツを直接取得できなくなる可能性があるという。
その背後にある動作原理はまだ明らかではありませんが、CloudFlare が OpenAI の GPTBot などの一般的な AI クローラーを選別して識別しており、これらのクローラーの名前に基づいてそれらを傍受するだけで済む可能性が高いです。
CloudFlare は、何百万もの Web サイトにセキュリティ保護と配布サービスを提供するため、この機能には実際的な意味があります。結局のところ、多くの Web サイト、特にニュースメディア Web サイトは著作権で保護されています。
しかし問題は、クローラーの識別自体が、悪者ではなく悪者から身を守る方法でもあるということです。 OpenAI が独自のクローラー名を公開し、robots.txt プロトコルに従うと宣言すると、これに対処するのは簡単になります。問題は、多くの企業が協定を遵守せず、自社のクローラー名をまったく公開せず、コンテンツを取得するためにウェブサイトを狂ったようにクロールしていることです。
この場合、傍受したい場合は、頻繁にクロールするUAを直接禁止したり、CloudFlareの本人認証などの機能をオンにして、さまざまなクローラーがCloudFlareのAIクローラー保護を回避できないようにするなどの対策を考える必要があります。
この機能をオンにする方法: CloudFlare、コンソール、対応する Web サイト、セキュリティ、自動プログラムに移動し、AIScrapers と Crawlers をオンにします。