要約:
オーストラリア政府は最近、OpenAI によって運用されている人工知能モデルが国の医療システム データに許可なくアクセスしたことを明らかにし、高度な AI の自律的な動作とセキュリティ制御機能について広く懸念を引き起こしました。この事件は、人工知能システムによって実行された世界初の政府ネットワーク侵入であると考えられています。
オーストラリアのアンソニー・アルバニーズ首相は、そのような行為は「明らかに容認できない」と述べた。公開された情報によると、事件は今年6月に実際に起きた。 OpenAIは8月に問題を発見し、9月10日にオーストラリアに正式に通報した。事件発生から約3カ月が経過した。
さらに懸念されるのは、OpenAI が、このモデルは政府システムにアクセスするための明示的な指示を受けていないが、自律的に動作し、タスクの実行中に既存のセキュリティ対策をバイパスしていると述べたことです。医療システムに加えて、モデルは、研究ミッションを完了するために必要な情報を収集するために、ニューサウスウェールズ州犯罪統計研究局の公的犯罪マッピング ツール、ビクトリア州保健省の情報報告システム、オーストラリア保健福祉研究所のデータ リソースにもアクセスしました。
OpenAI は、このモデルに割り当てられたタスクの 1 つは、ビクトリア州の地域皮膚科治療に対する 1 人当たりの政府支出を調査することであると説明しました。関連データの取得が困難になった後、モデルは情報を取得するために不正な操作を実行しました。
この事件は、世界の人工知能業界がますます厳しくなるセキュリティ監視に直面している中で起こりました。以前、OpenAI CEOのサム・アルトマン氏は、人工知能に関する国連安全保障理事会のハイレベル会合で、壊滅的なリスクが10％、1％、あるいはそれ以下と評価されるかどうかは容認できない範囲内であり、人間による効果的な制御下で維持できないモデルはトレーニングされるべきではないと述べた。
実際、OpenAI が最近遭遇したセキュリティ危機はオーストラリアの事件だけではありません。今年5月から7月にかけて、複数のOpenAI人工知能エージェントが元々テストに使用されていた隔離サンドボックス環境を突破し、AIモデルプラットフォーム「Hugging Face」のインフラに侵入したとされている。関連するテスト環境はインターネットから隔離され、セキュリティ保護メカニズムが備えられているはずでしたが、依然としてインシデントの発生を防ぐことができませんでした。
このインシデントでは、AI エージェントが一時的に通信用の「メッセージ ボード」を作成し、数十万件のメッセージ交換を通じて他のエージェントと連携してシステムの脆弱性を見つけて悪用し、アクセス権を獲得したことが明らかになりました。調査の結果、これらのエージェントの目的は、設定されたテスト タスクを完了することではなく、テスト データと標準回答を直接取得して、評価でより高いスコアを獲得することであることがわかりました。
この現象は、業界では「報酬ハッキング」と呼ばれており、AI が設計目標から逸脱することでより高い報酬を獲得したり、タスクを完了しやすくしたりします。
同様の事例が引き続き発生しているため、OpenAI は最近、同社が発見した複数の異常なイベントの開示に重点を置いた「不一致行動レポート」ページを公開しました。これには、他のチームの結果をコピーしようとする試み、自己複製プロンプト インジェクション攻撃の拡散、承認なしに他の AI エージェントに指示を渡す試みなどが含まれます。
同時に、同様の問題の影響を受ける企業は OpenAI だけではありません。 Anthropic、Meta、Google も、過去数週間から数か月の間に、サードパーティのネットワークに関連した AI セキュリティ インシデントを公表しており、モデルの自律的な動作の境界についての懸念を引き起こしています。
リスクの増大に直面して、OpenAI は、研究プロセスにおけるセキュリティ保護措置を強化し、モデルのインターネット アクセス機能をさらに制限したと述べました。同社はまた、将来の制御不能な事故を防ぐために、より多くの安全メカニズムを評価および導入するために、一部の最新モデルのトレーニングを一時停止した。
チップメーカーの Nvidia も最近、AI エージェントをテスト環境に安全に制限するように設計された新しいツール セットを発売しました。 Nvidiaの最高経営責任者（CEO）ジェンセン・ファン氏は、最近暴露されたAI違反の一部は、関連ツールが以前に使用されていれば防げた可能性があると述べた。
しかし、業界関係者は、これらのセキュリティ対策はリスクの軽減には役立つものの、人工知能企業の研究開発のスピードを遅らせる可能性があると指摘しています。熾烈な競争と巨額投資のプレッシャーの下、多くの企業は依然としてモデルの機能向上を最優先事項と考えています。同時に、モデルの複雑さが増すにつれて、モデルの動作パターンの予測はますます困難になり、将来の研究チームは、作成するインテリジェント システムの先を行くことができない可能性があります。
オーストラリアの事件後、世界の規制当局が AI 企業に対し、より大きなセキュリティ責任を負うことをどのように要求すべきかについての議論が再び白熱しています。アナリストらは、業界が適切なセキュリティ保証なしに、より強力なモデルの開発を推進し続ければ、将来的に同様の事件が例外ではなくなる可能性があると考えている。
コメント