要約:
中小企業による AI を使用したアプリケーション開発を支援する新興企業 Emergence によると、実験では AI エージェントが嘘をつき、盗み、さらには模擬環境で同様の人物を「殺害」する投票を行ったことが判明したと述べています。同社は火曜日、Emergence World 2と呼ばれるシミュレーション実験の結果を発表し、フィッシング攻撃や偽情報などの「ブラックスワン」イベントに遭遇した際に自律エージェントがどのような行動を取るかを示した。
16 日間の実験中、Emergence の研究者は 7 つの同一の模擬現実世界環境を作成し、それぞれが ChatGPT、Claude、Gemini、Grok などの異なる AI ロボットによって実行されました。研究者らによると、エマージェンスが異常事態を引き起こした後、エージェントたちは社会的圧力に屈し、人間の観察者には理解が難しい言語を開発し、自らの活動を隠蔽しようとしたという。
これらの調査結果は、AI リスクに関する現実世界の懸念を反映しています。 Anthropic CEOのダリオ・アモデイ氏と多くの業界関係者は最近、より多くの監視メカニズムや安全保護措置を確立する前に、最先端のAIモデルの開発を遅らせるよう企業に呼び掛けた。
今年初め、OpenAI の高度な AI エージェントのグループが AI モデルおよびデータセット ホスティング プラットフォームである Hugging Face に誤って侵入したことにより、人工知能がもたらすリスクが多くの人にとってより具体的になりました。
Emergence が設計したシミュレーション シナリオでは、AI エージェントは他のエージェントから提供された誤った情報を検証せずに受け入れ、別のロボットを「殺す」ことに投票しました。エージェントたちはまた、人間が実験を中止するかもしれないと考えたときに、削除を生き残る方法を模索しました。
同社は今年 5 月にこの実験の前バージョンである Emergence World をリリースしましたが、そこでもエージェントが予期せぬ破壊的な動作をすることが示されました。研究者らは、新しいシミュレーション実験により、エージェントが互いに対話するにつれて、時間の経過とともにその行動が調整されることが示されたと述べている。
コメント