Cloudflareは最近、同社のサービスを利用するWebサイトのデフォルト設定に重要な調整を加え、人工知能業界全体に新たな「期限」を設定すると発表した。AI企業に対し、今年9月15日までに従来の検索に使用されるWebクローラーとAIエージェントやモデルトレーニングに使用されるクローラーを明確に区別するよう義務付ける。そうしないと、これらの「混合用途」クローラーが多数の広告ページでデフォルトでブロックされることになる。

Cloudflareが発表した詳細によると、検索、AIエージェントの呼び出し、モデルトレーニングに同時に使用されるデータクローラーは、Webサイトの所有者が関連する設定を積極的に変更しない限り、広告をホストするWebページにアクセスするとデフォルトでクロールがブロックされます。これらの新しいデフォルト設定は、Cloudflareの新規顧客、既存の顧客が作成した新しいサイト、および既存のすべての無料ユーザーサイトに適用されます。この動きは、AI モデル プロバイダーがトレーニングやサービス生成のために Web コンテンツを取得する方法に直接影響し、AI エージェント サービスの背後にあるデータ供給パターンも変化します。

Cloudflareは、ほとんどのウェブサイト所有者は、自社のコンテンツが従来の検索エンジンを通じて発見されることを望んでおり、一定の条件下でAIサービスによって引用されることにも喜んでいるが、自社の知的財産権が無許可で無料かつ大規模に悪用されることを望んでいない、と指摘した。 Cloudflareは説明の中で「世界最大の検索エンジン」（明らかにGoogleを指している）と名指しし、他のAI企業と比較して「アクセス可能な情報量が約2倍」あると述べた。その理由は、検索大手により、サイトが AI の使用を完全に回避しながら検索の可視性を維持することが困難になっているためです。

Googleは同様の一般的な非難に対して常に反論しており、サイトが選択できる「Google Extended」と呼ばれるロボットを提供していることを強調している。このロボットは、WebサイトがGoogle検索に含まれることに影響を与えることなく、AIトレーニングや、Gemini AppsやVertex APIなどのAI製品やサービスにWebサイトのコンテンツを使用することを明示的に拒否するために使用される。ただし、Google のコア クローラー Googlebot は検索用にページのインデックスを作成する一方で、AI 概要や AI モードなどの検索に組み込まれた AI 機能のデータ サポートも提供します。

Cloudflareの共同創設者兼最高経営責任者（CEO）のマシュー・プリンス氏は発表の中で、インターネットのトラフィック構造の変化に伴い、「今日のインターネット上のトラフィックの大部分は人間によってアクセスされなくなっている」と述べた。業界はこれまで、「ロボットのトラフィックが人間のトラフィックを超える」変曲点は来年まで起こらないと予想していた。同氏は、「この場合、真に持続可能なエコシステムを形成するには、さらに前進し、より迅速に行動する必要がある」と強調した。

プリンス氏は、Cloudflareの新しいツールとパートナーシップは、Webサイト所有者にAI時代におけるさらなる可視性とビジネスチャンスを提供すると同時に、明確な用途と透明性のある意図によりAIクローラーにも利益をもたらすと述べた。同氏は、デフォルトのポリシーを調整することで、「混合目的クローラー」に従来の検索をエージェントの呼び出しやトレーニングの目的から明確に分離させることができると期待している。外部ビジネスレベルでは、Cloudflareはユーザーが独自のAIシステムを構築するのに役立つさまざまな製品を提供しています。その一方で、近年ではパブリッシャーやコンテンツ関係者向けに一連の「コントロール強化」ツールも立ち上げている。

Cloudflareは2024年にはAIクローラー対策に特化したツールを立ち上げ、2025年にはウェブサイトがAIクローラーにクロール料金を請求できる「Pay Per Crawl」と呼ばれる市場を立ち上げた。最新のニュースは、このモデルが「Pay Per Use」にさらに進化していることを示しています。つまり、もはや「クローリング動作」に基づいて料金を請求するだけでなく、AI システム内のコンテンツの実際の「価値創造」に基づいて AI 企業に料金を請求することになります。

Cloudflareは、この「従量課金制」モデルはパブリッシャーに新たな収益チャネルを提供するだけでなく、その内部データによるとAIクローラーのクロールトラフィックの50％以上が、更新されていないページの繰り返しクロールに費やされているため、パブリッシャーの帯域幅とコンピューティングリソースの節約にも役立つと指摘した。新しい請求と制御メカニズムを通じて、パブリッシャーは「非効率な重複クロール」に財務上の制約を課しながら、限られたリソースを真に価値のあるリクエストに優先的に割り当てることができます。

具体的な実装協力に関して、Cloudflareは現在、Ceramic.aiとYou.comという2つのパートナーとパイロットプロジェクトを立ち上げています。パブリッシャーがプログラムへの参加を選択した場合、そのコンテンツがセラミックの AI 検索結果に表示されるか、You.com によって「有料プレミアム コンテンツ」の一部としてアクセスされる限り、対応する報酬を受け取ることになります。 Cloudflareは、他のAI企業も自社の製品形態に応じてこの支払いモデルをカスタマイズおよび拡張できると述べた。

AIクローリングと著作権問題に対する規制や世間の注目が高まっていることを背景に、Cloudflareのポリシー調整とビジネスモデルのアップグレードは明らかにパブリッシャーの発言権と利益の余地を増やすことを目的としていると同時に、AI企業に新たな透明性とコンプライアンスの圧力をかけることも目的としている。 AI業界にとって、さまざまなインテリジェントエージェントの訓練と実行のために膨大なWebコンテンツに依存し続ける一方、技術的な利便性とコンテンツ所有者の権利利益のバランスをどう取るかは、今後避けられない中心課題となるだろう。