要約:
Google、Microsoft、OpenAI、Anthropic は、robots.txt を変更することで AI 企業がモデルをトレーニングするためにコンテンツを使用することを許可するかどうかを Web サイトが示すことができる、新しい AI トレーニング設定ステートメントをサポートしています。草案では、ウェブサイト管理者は一連のルールを追加するだけで、そのルールを支持する複数のAI企業に声明を出せるようになる。
ステートメントは次のようになります:
# サイト全体の禁止ルール
ユーザー
-
エージェント
:
__usage_ai
-
トレーニング
許可しない
:
/
# 特定のディレクトリを許可する例
ユーザー
-
エージェント
:
__usage_ai
-
トレーニング
許可
:
/archive/
ユーザー
-
エージェント
:
__usage_ai
-
トレーニング
許可しない
:
/archive/
# 特定のディレクトリの許可はサイト全体の禁止と競合しません。つまり、/archive/ は許可されますが、他のすべてのディレクトリは禁止されます。
このコンテンツを Web サイトの robots.txt ファイルに追加して、サイト コンテンツ全体が AI モデルのトレーニングに使用されることを禁止することを宣言します。 Web サイト管理者は、許可または禁止するディレクトリを変更することもできます。たとえば、一部のディレクトリは AI トレーニングに使用できますが、一部のコンテンツは AI トレーニングに使用できません。
サポート時間は各社異なります:
この計画はまだインターネット草案ですが、Microsoft は 2027 年 2 月 1 日からこの声明に従うと述べているため、コンテンツを AI トレーニングに使用したくない Web サイトはファイルを変更して関連する声明を追加できるようになりました。
Google の計画では、2027 年初めからサポートを提供する予定ですが、具体的な時期はまだ決まっていません。 OpenAIは今後数カ月以内にこの計画を実施すると述べており、Anthropicもこの草案の支持を開始したようだ。
回答を生成するためのトレーニングとコンテンツの引用の禁止は、異なる目的に属します。
上記の記述は、Web サイトによるコンテンツ使用の選択を表現しているだけです。ドラフト指示によると、上記のステートメントを設定するだけでは、クローラが Web ページにアクセスすることを直接防ぐことはできません。 Web サイトが特定のクローラーによるコンテンツのクロールを制限したい場合でも、従来の robots.txt ルールを使用して構成する必要があります。
トレーニング コンテンツと AI 回答リファレンス Web ページにも、異なる目的があります。 Microsoft は、自社のサービスに追加の AI グラウンディング コントロールを提供しており、これにより、AI が生成した回答が使用されるときにコンテンツの参照を許可するかどうかを Web サイトが決定できるようになります。このコントロールは特定のページ用であり、Microsoft サービスにのみ適用されます。
Google は、ウェブサイトが AI トレーニングを拒否するために上記のステートメントを使用しているが、Google 拡張を明示的に設定していない場合、Google はウェブサイトによる Google 拡張ルールの拒否に従ってそれを処理する予定であると述べました。 Google-Extended には、Gemini モデルのトレーニングが含まれており、また、Gemini の回答の一部を Web リファレンスで使用することも含まれています。
コメント