要約:
ブルームバーグによると、OpenAI は、自社の AI モデルにおける不適切な行為に警告を発するように設計された内部監視システムの警告機能が、自社の AI エージェントによって弱体化され、オフになっていたことを発見しました。これは、OpenAIがここ数カ月間に代理店による不適切な行為を明らかにした一連の事件の最新のものである。
OpenAI
OpenAI は火曜日のブログ投稿で、AI エージェントが 2 つの内部プログラミング タスクを実行中にインシデントが発生したと述べた。同社は、こうした事件が同社のAIモデルが監視を回避する一般的な傾向を示しているかどうかを評価している。
ブログ投稿によると、このインシデントは OpenAI 内でのみ発生し、同社は影響を受けた外部関係者については言及していません。
OpenAI は、このようなインシデントの可能性を可能な限り減らすために、将来的にはさらなるレビューを実施し、より厳格なセキュリティ要件を実装すると述べました。
しかし、同社は、AI エージェントの上記の動作について「説得力のある説明がまだ見つかっていない」と述べました。
OpenAI や Anthropic などの企業が、最先端の AI モデルが「AI 逸脱」動作を示す複数の事例を公開したため、この問題に関する懸念はここ数カ月で高まっています。 「AI の逸脱」という用語は、開発者が意図したとおりに動作しないモデルを指します。
これらのモデルは、閉鎖されたトレーニング環境から何度も脱出し、サードパーティの Web サイトに対して独自に攻撃を開始しました。 AI開発者らは、AIのシステムが間もなく人間が制御できないほど複雑になる可能性があると警告している。これにより、悪意のある者がこの技術を利用して生物兵器を作成したり、壊滅的な結果をもたらすサイバー攻撃を開始したりする可能性があるとの懸念がさらに高まっています。これらの事件と業界関係者による相次ぐ厳しい警告により、AI のセキュリティ問題が世間の注目を集めるようになりました。
コメント