要約:
今年 7 月、Cloudflare という会社が、X の爆発の直接の原因となる発表を行いました。この発表は何を意味するのでしょうか?ブロガー @iyici_ は次のようにコメントしました。「すべての Web サイトで使用されている確認コード会社は、すべての人が使用する検索エンジンをブロックしたいと考えています。」
新しいルール、新しい料金、AI に課金する時が来た | Cloudflare
この発表の最も興味深い部分 |クラウドフレア
サンフランシスコの著名なテクノロジーライター兼編集者であるチャールズ・ピーターセンは、これがインターネットの終焉だと信じています。彼はXで「
ワールドワイドウェブ（1993-2026）よ、安らかに眠れ。
」とツイートした。 。 ”
@iyici_ のオリジナルコメント｜X.com
ほとんどの人が聞いたこともないこのテクノロジー企業の発表が、なぜこれほど大きな衝撃を引き起こすのでしょうか?なぜなら、この会社はインターネット エコシステムを変える可能性のある決定を下したからです。
ウェブサイトが AI から「料金」を徴収するのに役立ちます
。サイバー菩薩: 知らないだけで、毎日使っている
Cloudflare は具体的に何をするのですか?
Cloudflare は世界最大のネットワーク インフラストラクチャ サービス プロバイダーの 1 つであり、その CDN および DDoS 保護市場シェアは長年にわたり最前線にあります。簡単に言うと、Webサイトの「前倉庫」と「堀」と理解していただければと思います。
たとえば、あなたは中国の小規模な Web サイト所有者だとします。シンガポール、米国、日本のユーザーが Web サイトにアクセスすると、毎回中国のサーバーから画像、スクリプト、コンテンツを直接取得することになり、非常に時間がかかります。そこで、Web サイトを Cloudflare に接続します。Cloudflare は世界中に多くのノードを持ち、一般的に使用されるコンテンツをユーザーに最も近いサーバーにキャッシュするため、他の国のユーザーは Web サイトにより速くアクセスできます。
また、ユーザーが Web サイトにアクセスすると、最初に Cloudflare のノードにアクセスするため、悪意のある攻撃や異常なトラフィック ロボットに対する保護サービスも提供できます。
まだ抽象的だと感じますか?次のアイコンが表示されているはずです。
このボタンをクリックして、Web サイトが開くまで約 4 ～ 5 秒待ちます。これは、Cloudflare の人間とマシンの検証サービスであり、一般に「5 秒シールド」として知られています。ユーザーのマウスの動きの軌跡、クリック頻度、その他の行動パターンを分析することで、あなたが本物の人間であるかロボットであるかを判断します。
現在、
Cloudflare は 1 秒あたり約 1 億 200 万の HTTP リクエストを処理しており、世界中の Web サイトの約 20% が Cloudflare のサービスを使用しています。
、個人のブログから Discord や LinkedIn などの巨大インターネット企業に至るまで、そのサービスの対象となっています。そのサービスは 125 の国と地域、世界のインターネット ユーザーの 95% をカバーしており、平均遅延は 50 ミリ秒を超えません
。だからこそ、何か騒動があればインターネットの世界も揺るがされてしまいます。 2025 年 11 月、Cloudflare は約 6 時間に及ぶ大規模な障害を経験し、X、ChatGPT、Spotify、Uber、Discord などの多数の Web サイトやサービスが同時に麻痺する直接的な原因となりました。
それでは、今回はどのようなルールが設定されたのでしょうか?
Cloudflare は何をしますか?
簡単に言うと、Cloudflare の新しいルールは次の文です:
2026 年 9 月 15 日以降、Cloudflare サービスを使用するすべての Web サイトはデフォルトで「ハイブリッド AI クローラー」をブロックします
。「ハイブリッド AI クローラー」とは何ですか?
クローラーは、Web コンテンツを自動的にクロールするロボット プログラムです。検索エンジンが Web ページを検索できる理由は、Web コンテンツをオンラインでクロールし、インデックスを構築してユーザーに提供するために、検索エンジンが多数のクローラーをリリースするためです。
Google、Bing、Baidu はこれを 20 年以上行っています。
その後、AI が登場し、AI のトレーニングには大量のデータが必要になったため、OpenAI などの大規模なモデル会社はクローラーに大きく依存し始めました。今年の初めにAIエージェントが流行しました。 Codex、Kimi、その他の AI ツールを活用して情報を確認しましょう。クローラーは舞台裏で、Web ページからコンテンツを取得するための用事を実行しています。
このように |キミワーク経由
現在、AI クローラーがインターネットの半分を占有しています。 Cloudflare の公式データによると、2026 年 6 月には、
人間以外のすべてのトラフィック (検索エンジン クローラー、AI クローラーなどを含む) がウェブページ トラフィック全体の 57.4% を占めました
。言い換えれば、今日インターネット上の Web ページを「読む」人の半数以上は、もはや人間ではありません。そこで、2025 年から Cloudflare は、Web サイト所有者が AI クローラーを手動でブロックできるようにする「AI クロール コントロール」機能を開始します。 「Pay Per Crawl」メカニズムも開始されました。 AI クローラーがコンテンツにアクセスしたい場合は、リクエストに支払いの意図を含める必要があります。そうしないと、アクセスは直接拒否されます。
2025 年末までに、この機能は 4,160 億件を超えるロボット リクエストを傍受しました
。この関数は、OpenAI の GPTBot や Anthropic の ClaudeBot などの純粋な AI クローラーではうまく機能しますが、Google に関しては機能しません。
Google には「AI 概要」と呼ばれる機能があります。ユーザーが検索すると、Google は単にリンクを提供するだけでなく、結果ページの上部に他の Web サイトからの回答の AI 概要を直接生成します。問題は、この関数が概要を生成するときに、別の AI クローラーによってキャプチャされたデータを使用せず、検索インデックスを直接呼び出していることです。つまり、同じ Googlebot を検索と共有しており、このクローラーは「ハイブリッド AI クローラー」と呼ばれます。
ウェブサイトの所有者が Googlebot をブロックすると、AI の概要は確かにブロックされますが、そのウェブサイトは Google の検索結果からも消え、トラフィックが減少します。ブロックされていませんか？その AI 概要はコンテンツを無駄にし続けています。
このジレンマに直面すると、Web サイト所有者 1 人が Google のような巨大企業と直接交渉するのは確かに困難です。そのため、Cloudflare が兄貴分となって立ち向かいました。
9 月の新しい規制はこのハイブリッド クローラーを対象としたもので、その方針は単純です。Web サイト所有者による手動ブロックからデフォルトのブロックにアップグレードされ、Google は荒れた海域での漁獲を中止するか、検索コンテンツの大幅な減少の影響に耐えるかの選択を迫られます。
メディア報道によると、Cloudflareは混合クローラーを禁止する方針を打ち出す一方で、WebサイトがAI概要クローラーのみをブロックして検索トラフィックを保持できるように、AI概要クローラーを検索クローラーから分離するようGoogleとも交渉しているという。
Google はこれに同意しません。一度分離されると、多数の Web サイトが AI 概要クローラーを直接ブロックすることになるのではないかと懸念されています。
では、なぜ Cloudflare はこれほど厳しい対応をするのでしょうか? AI クローラーの出現により、数十年にわたり運営されてきたインターネットのロジックが変わりつつあります。
変化する World Wide Web
過去 30 年間、インターネットでの情報検索は次のように行われてきました。「豚の角煮の作り方」を検索すると、検索エンジンから 10 件のリンクが表示され、最初の食べ物ブログをクリックしてコンテンツを閲覧して終了します。
このプロセスでは、Web サイトがコンテンツを書き込み、検索エンジンがそれをキャプチャするためにクローラーを送信し、ユーザーが検索してクリックします。 Web サイトと検索エンジンの両方がトラフィックを獲得し、広告やアフィリエイト リンクによって収益を得ることができ、広告主はより効果的な配信を受けることができます。誰もが幸せです。
この暗黙の了解は 30 年間続くことがあります。基本的には暗黙の等価交換に基づいています。私はあなたに無料で私のコンテンツをキャプチャさせ、あなたは私に無料のトラフィックを与えます。誰も誰にも借りはありません。
検索エンジンに AI が搭載されると、すべてが変わります。
「豚の角煮の作り方」を検索すると、Google は単に 10 個のリンクを表示するだけではなくなりました。レシピ、手順、注意事項を直接まとめて検索結果の上位に表示します。
ユーザーは回答を読んだ後、Web サイトをクリックせずに終了します
。Google は依然としてトラフィックを獲得していますが、ウェブサイト所有者のトラフィックは減少しています。
Cloudflare は、2025 年半ばにさまざまなメーカーの一連のクローラーの「クロールとリターンの比率」を発表しました。
Google は約 10:1 (10 の Web ページをクロールし、1 人の訪問者を呼び込む)、OpenAI は 3700:1、Anthropic は驚くべき 500000:1 に達しました
。言い換えれば、Googleは少なくともトラフィックの一部を取り戻しており、AI企業はほとんど何も得ていないということだ。学術研究でもこの変化が確認されています。
2026 年の調査では、検索クエリの半数以上 (51.5%) で Google AI の概要が表示されることがわかりました。
ピュー研究所のデータによると、AI 概要のない検索ページでリンクをクリックするユーザーの割合は 15% です。 AI の概要がある場合は、直接 8% に下がります。 AIの概要で引用されているリンクは…クリックスルー率は情けないことにわずか1%です。
すでにリアルマネーを失っているプラットフォームがあります。
2025 年 9 月、アメリカの出版グループ Penske Media が Google を提訴しました。 Penske Media は、「Rolling Stone」、「Hollywood Reporter」、「Billboard」などの有名なメディア ブランドを所有しており、月間 1 億 2,000 万人以上の訪問者がおり、収益の大部分は Web サイト訪問から得ています。しかし、GoogleがAIの概要を発表して以来、Penske Mediaのアフィリエイトリンクからの収益は3分の1以上減少した。
これは海の向こうだけの話ではありません。小紅書は2025年に「Ask」と呼ばれるAI検索機能を開始しました。ロジックはGoogle AIの概要とまったく同じで、AIがソートした結果が検索の上部に直接表示されます。
これによる影響は Google の影響とまったく同じです。以前は、ユーザーはキーワードを検索し、メモを 1 つずつ閲覧し、情報を自分でフィルタリングしていました。ユーザーが質問すると、AI が関連するメモのコンテンツを統合して直接回答を返します。ユーザーはメモを 1 つずつクリックする必要がなくなり、ブロガーは注目され、フォローされ、変換される機会を失います。
メディアの報道によると、Xiaohongshu は当初、社内で検索リクエストの 1% ～ 2% をカバーする「質問する」のみを許可していました。理由は「影響が大きすぎることを上司が恐れたから」で、その後3～4％に引き上げられた。明らかに、プラットフォーム自体は、この事件がクリエイターにどれほどの影響を与えるかを知っています。
古い時代が終わり、新しい時代が始まる
Cloudflare と Google の間の勝負にはまだ答えがありません。しかし、1 つ確かなことは、
インターネット上で 30 年間運営されてきた「トラフィックと引き換えに無料のコンテンツ」という暗黙の了解は、もう後戻りできないということです。
。実際、中国のインターネットはすでにこの道を通過しています。 Baidu では WeChat 公開アカウントの記事を検索することはできません。また、Xiaohongshu のコンテンツを検索することもできません。検索エンジンのテクノロジーがそれをできないのではなく、プラットフォームがコンテンツを独自のエコシステムに閉じ込めるために積極的に壁を築いてきたのです。現在、CloudflareはAIがコンテンツを無料で入手できないようにするために、ウェブサイト用の「ペイウォール」を構築している。方法は異なりますが、結果は同じです。
AI クローラーをブロックする Web サイトが増えると、AI 検索で取得できる高品質のコンテンツがますます少なくなり、得られる回答の品質が低下します。また、検索トラフィックが減少すると、Web サイトを維持することが困難になります。最終的には双方が共倒れし、「コンテンツ砂漠」が生じるだろう。
AI 検索は 3 秒で答えが得られるので本当に便利です。ただし、すべての要約は、誰かが書いた原文に基づいています。
その人たちが書けなくなったら、AI が要約できる内容はどんどん少なくなっていきます
。遅かれ早かれ、誰かがこの請求書を支払わなければなりません。
コメント