Cloudflareが月曜日にAI検索エンジンPerplexityを非難したときこっそり捕まえるウェブサイトのデータを取得する、Webサイトがそれをブロックした具体的な方法を無視しながらも、Perplexityを擁護する人がたくさんいました。彼らは、所有者の意向に反してWebサイトにアクセスするPerplexityの行為は物議を醸すものの、容認できるものであると主張した。人工知能エージェントがインターネット上で急増するにつれて、ユーザーに代わって Web サイトにアクセスするエージェントはボットとみなすべきか?という議論が激化するでしょう。それとも人間が同じ要求をしていると考えるべきでしょうか？
Cloudflare は、何百万もの Web サイトにアンチボット クローラーやその他のサイバーセキュリティ サービスを提供することで知られています。基本的に、Cloudflareのテストケースには、ロボットクローラーによってクロールされたことがない新しいドメイン名を使用して新しいWebサイトを作成することが含まれます。 Perplexity に知られている AI クローラーを特にブロックする robots.txt ファイルを設定します。次に、Perplexity に Web サイトのコンテンツを問い合わせます。 Perplexity がこの質問に答えます。
Cloudflareの研究者らは、AI検索エンジンのWebクローラー自体がブロックされた際、「macOS上でGoogle Chromeを模倣するように設計されたユニバーサルブラウザ」を使用していたことを発見した。 Cloudflare CEO の Matthew Prince 氏が次の調査結果を発表しました。
しかし多くの人はプリンスの評価に反対し、これは本当に悪い行為ではないと主張した。次のようなサイトで Perplexity を擁護している人たち
Hacker News のあるユーザーは、「私が人間として Web サイトをリクエストした場合、そのコンテンツを見ることができるはずです」と書き、さらに「私に代わって Web サイトにアクセスする大規模な言語モデルが、私の Firefox Web ブラウザーとは異なる法的カテゴリーに属するのはなぜでしょうか?」と付け加えました。
Perplexityの広報担当者は以前、ボットが同社のものであることを否定し、Cloudflareのブログ投稿をCloudflareの売り込みだと主張した。しかし火曜日、Perplexityは自社（およびCloudflareに対する攻撃全般）を擁護する別のブログ投稿を公開し、この動作は同社が時折使用するサードパーティサービスの結果であると主張した。
しかし、Perplexityの投稿の核心は、オンラインの謝罪者たちと同じくらい注目に値する、「自動スクレイピングとユーザー主導のスクレイピングの違いは技術的なものだけではなく、誰がオープンウェブ上の情報にアクセスできるかということだ。この論争は、Cloudflareのシステムが正規のAIアシスタントと本当の脅威を区別するのに根本的に不十分であることを示している」。
Perplexityの告発も完全に公平というわけではない。 Perplexity のアプローチを批判する中で、Prince と Cloudflare は、OpenAI のアプローチは Perplexity のアプローチとは異なると主張しました。
Cloudflareは、「OpenAIは、これらのベストプラクティスに従う大手AI企業の優れた例である。彼らはrobots.txtファイルを尊重し、robots.txtディレクティブやネットワークレベルのブロッキングを回避しようとはしない。ChatGPTエージェントは、新しく提案されたオープンスタンダードWeb Bot Authを使用してhttpリクエストに署名する。」と書いている。
Web Bot Auth は、AI エージェントのネットワークリクエストを識別するための暗号化された方法を作成することを目的として、Internet Engineering Task Force によって開発された Cloudflare を支援する標準です。
この議論は、ボットの活動がインターネットの形を変える中で起こりました。 TechCrunchが以前に報じたように、AIモデルをトレーニングするために大量のコンテンツをクロールしようとするボットは、特に小規模なWebサイトにとって脅威となっている。
Impervaが先月発表した「悪意のあるボットレポート」によると、インターネット史上初めて、ボットの活動が人間のオンライン活動を上回り、人工知能のトラフィックが50％以上を占めたという。このアクティビティのほとんどは LLM から来ています。しかしこのレポートでは、現在、悪意のあるボットがインターネット トラフィック全体の 37% を占めていることも明らかになりました。これらのアクティビティは、データの永続的なスクレイピングから不正なログイン試行まで多岐にわたります。
大規模言語モデル (LLM) が登場する前は、CAPTCHA やその他のサービス (Cloudflare など) をよく使用するほとんどのボット活動を Web サイトがブロックできるし、ブロックすべきであるという一般的なコンセンサスがインターネット上にありました。また、ウェブサイトには、robots.txt を通じてどのコンテンツをインデックスに登録すべきでないのかを Googlebot に指示することで、特定の善良なアクター (Googlebot など) と協力する明確なインセンティブがあります。 Google はインターネットにインデックスを付け、ウェブサイトにトラフィックを送信します。
現在、大規模言語モデル (LLM) はますます多くのトラフィックを消費しています。 Gartner は、検索エンジンのトラフィックが 2026 年までに 25% 減少すると予測しています。現在、人々は、LLM がサイトにとって最も価値のあるときに、つまり取引を行う準備ができているときにこれらのリンクをクリックする傾向があります。
しかし、テクノロジー業界が予測しているように、人間が旅行の手配やディナーの予約、買い物を手伝ってくれるエージェントを積極的に探すようになったら、これらのエージェントをブロックしているサイトは彼らのビジネス上の利益を損なうのだろうか？ X に関する議論は、このジレンマを完璧に説明しています。
「リクエストやタスクを Perplexity に送信するときに、私に代わって Perplexity が公開コンテンツにアクセスできるようにしたいのです。」 Cloudflareの暴言で誰かがPerplexityを非難したと書いた。
別のユーザーは、「サイト所有者がそれを望まなかったらどうする？彼らは、あなたに直接ホームページにアクセスしてコンテンツを見てほしいだけだ」と反論し、コンテンツを作成したサイト所有者が望んでいるのはトラフィックと潜在的な広告収入であり、Perplexityがそれを受け取るのではない、と指摘した。
「これが、『プロキシ ブラウジング』が実際に機能するとは思えない理由です。これは人々が考えているよりもはるかに難しい問題です。ほとんどの Web サイト所有者はそれをブロックするでしょう」と 3 番目のユーザーは予測しました。
関連記事：
AI クロールを明示的にブロックする Web サイトをクロールしたとして Perplexity が告発される