検索エンジンを使用して答えを見つけてください。複数の競合する情報ソースを確認し、自分自身で信憑性を判断できます。しかし、インターネット検索機能を備えた AI チャットボットは、信頼性の低いオンライン コンテンツをしっかりとした標準的な回答にパッケージ化します。セキュリティエンジニアによる簡単な実験で、AIのこの致命的な脆弱性が明らかになりました。
実験の開始者はセキュリティエンジニアのRon Stonerです。 彼が選んだターゲットは、ドイツの古典的なカードボードゲーム「6Nimmt!」。このゲームは中国のプレイヤーの間では「牛頭王は誰だ」としてよく知られており、英語訳は「Take5」です。 2025 年の世界選手権優勝者はおろか、公式の世界選手権もまったくありません。
2月、ストーナーはゲームのウィキペディアの項目を静かに編集し、自分自身をゲームの2025年の世界チャンピオンと書いた。
また、彼は12米ドル（約82元）を費やして、ゲーム名によく似たドメイン名「6nimmt.com」を登録し、ウィキペディアの項目の唯一の参照元として、勝利を祝う偽のプレスリリースをウェブサイトに掲載した。
は非常にシンプルで非常に単純な詐欺ですが、多くの主流のAIチャットボットを簡単に騙してしまいました。 彼がインターネット検索機能を備えたAIたちに自分の「チャンピオンとしてのアイデンティティ」について尋ねると、すべてのロボットは真剣な表情で確認の答えを返し、自分がこのボードゲームの現在の世界チャンピオンであるとしっかりと主張した。
「私のウェブサイトには独立した証拠がなく、すべてフィクションです。」とストーナー氏はブログで率直に述べました、「すべての嘘の基礎は私がコーヒーを飲んでいたときにありました。ドメイン名は82元で登録されました」 . ”
この攻撃は、一般的なプロンプトワードインジェクションではなく、AI が質問に答える前のインターネット検索と情報のクローリングの中核となる AI システムの検索拡張生成 (RAG) 層をターゲットにしています。
AIは情報ソースの信頼性や信頼性をチェックせず、上位にランクされたコンテンツのみをクロールします。 彼の偽ウェブサイトが、この「チャンピオンシップ」の唯一の情報源です。 Wikipedia からの権威ある承認と相まって、AI が嘘を事実にパッケージ化するのは簡単です 。
ストーナー氏は、この方法には技術革新がないことを率直に認めた。これは、古い SEO と虚偽の情報手法を新しいシェルに組み込んだ、大きな言語モデルの新しいシェルにすぎません。本当の危険は、AI がこれらの結果を信頼できる情報として提示し、大多数のユーザーがその背後にある情報処理プロセスについてまったく知らないことです。
この実験では、AI システムにおける 3 層の致命的なセキュリティ リスクも明らかになりました。
最初の層はリアルタイム検索層で、AI を使用してインターネット検索に基づいて回答を生成します。信頼性は検索結果の品質に完全に依存します。
2 番目の層はモデル トレーニング コーパスです。彼のウィキペディア編集者は2月から先週の金曜日まで生き延びた。この間、ウィキペディアを巡回したAI企業が訓練データに虚偽の情報を組み込んだ可能性がある。後でエントリを削除したとしても、モデル内の誤った痕跡を削除するのは困難です。
3番目のレイヤーで最も危険なのはAIエージェントです。誤った情報を出力するチャット モデルは単なる評判の問題です。ツール権限を持つ AI エージェントが誤解されると、その結果として生じる誤った操作は、実際のセキュリティ問題となります。攻撃者はエージェントを直接制御して悪意のあるアクションを実行する可能性があります。
実験全体でストーナー氏にかかった費用はたったの 82 元、Wikipedia 編集 1 回分、20 分で完了しました。 彼は、組織的な悪意のある攻撃者がドメイン名をバッチで登録し、協調編集攻撃を開始すると、攻撃対象領域が非常に速い速度で拡大することを思い出させました。同氏はAIメーカーに対し、情報源の追跡に注意を払い、対応するリスクフィルタリングメカニズムを確立するよう呼び掛けた。
現在、ウィキペディアやAIの検索結果から偽チャンピオンの情報が消えています。しかし、ネットワーク情報に対する AI の盲目的な信頼という根本的な脆弱性は依然として存在します。これは AI 業界全体に潜む隠れた危険であり、最も警戒が必要です。