生成 AI と大規模言語モデルの出現以来、AI によって生成される出力が最終的に後続の AI によって生成される出力に影響を及ぼし、危険なフィードバック ループを生み出す可能性があると警告する人もいます。このような事例が文書化され、新興テクノロジー分野におけるリスクがさらに浮き彫りになりました。
研究者は、人工知能チャットボットが虚偽の情報を幻覚する様子を説明しようとしていた際、誤って検索結果のランキングに影響を与え、別のチャットボットに幻覚を引き起こしてしまいました。この事件は、AI で強化された検索エンジンの普及に伴い、さらなる保護措置が必要であることを示しています。
情報科学研究者のダニエル・S・グリフィン氏は今年初め、影響力のあるコンピューター科学者のクロード・E・シャノン氏が関与した、誤った情報を提供するチャットボットの例を2件ブログに投稿した。 Griffin 氏はまた、機械検索者が情報にインデックスを作成するのを防ぐために、チャットボットによって提供された情報は虚偽であるという免責事項も含めましたが、それだけでは十分ではありませんでした。
Griffin 氏は最終的に、Microsoft の Bing や Google Bard を含む複数のチャットボットが彼の幻覚メッセージを本物のメッセージと間違え、検索結果の上位にランク付けされていることを発見しました。シャノンについて具体的な質問をすると、ボットはグリフィンの警告に基づいて、シャノンが書いたことのない論文をシャノンのものであると考え、一貫性はあるが虚偽の話を展開した。さらに懸念すべきことは、Bing と Bard の検索結果では、その情報源が LL.M. であることを示さなかったことです。
この状況は、人々が文脈や文脈を無視して情報源を引用し、誤った研究につながる場合と似ています。グリフィン氏のケースは、生成 AI モデルがそのようなエラーを恐ろしい規模で自動的に修正できる可能性を示しています。
その後、Microsoft は、オンラインで人が書いた内容が比較的少ないトピックを扱う場合に問題が発生する可能性が高いと仮定して、Bing のエラーを修正しました。この前例が危険であるもう 1 つの理由は、悪者が LLM を意図的に悪用して、検索結果に影響を与えて誤った情報を拡散するための理論的な青写真を提供することです。ハッカーは、検索結果で上位にランクされるように詐欺的な Web サイトを微調整してマルウェアを拡散させることが知られています。
この脆弱性は、より多くの LLM で生成されたコンテンツが Web 上に出現するため、将来の LLM のトレーニングに使用されるだろうという 6 月の警告と同時に発生しました。結果として生じるフィードバック ループにより、「モデル崩壊」として知られる現象が発生し、AI モデルの品質と信頼性が大幅に低下する可能性があります。
AI を使用する企業は、トレーニングが引き続き人間が作成したコンテンツを優先するようにする必要があります。少数派グループが作成したあまり目に見えない情報や資料を保存することは、この問題の解決に役立ちます。