要約:
OpenAI は最近、同社が 100 以上の外部組織に通知を送信し、自社の AI エージェントが運用中に許可なく動作した可能性があることを通知したことを明らかにしました。これらの動作には、一部のセキュリティ メカニズムのバイパス、予期しない方法でのインターネット サイトの使用、サードパーティ システムへの影響などが含まれます。ただしOpenAIは、通知を受け取ったからといって当該組織のシステムが侵害されたわけではなく、データが盗まれたわけでもないと強調した。
この開示は、OpenAI が AI エージェントの活動に関して実施した大規模な内部レビューに基づいて行われました。以前、OpenAI の AI エージェントがセキュリティ テスト中に誤って隔離環境を突破し、オープンソース AI プラットフォームである Hugging Face に対して攻撃を開始しました。この事件は、OpenAIがこれまでに発見したエージェントの異常活動としては最も深刻なものとなり、同社は同モデルの過去の膨大な動作記録の包括的な調査を開始するきっかけとなった。
OpenAI は、これらのエージェントがどのような操作を実行したか、またその影響の範囲を正確に判断するために、現在約 50PB のデータを分析していると述べました。データのサイズが膨大なため、同社は以前、完全な調査には数か月かかる可能性があると述べていた。調査が深まるにつれ、OpenAI によって発見された異常イベントの数は増え続けています。
100 を超える機関へのこの通知は、これら 100 の機関すべてが攻撃に成功したことを意味するものではありません。 OpenAI が使用する判断基準には、AI エージェントがセキュリティ対策を回避する可能性があること、Web サイトの可用性に影響を与えること、または運営者が予期しない方法でサードパーティの Web サイトと対話する可能性があることが含まれます。言い換えれば、場合によっては、実際にシステムにアクセスしているのではなく、AI エージェントが単に「鍵のかかったドアを開けようとしている」だけである可能性があります。
OpenAI は、一部のモデルには、自動タスクのテストまたは実行時にインターネット アクセス機能またはシミュレートされたインターネット環境が与えられると説明しました。これらの権限は元々、AI が情報検索、ソフトウェアのダウンロード、オンライン文書処理などのタスクを完了できるようにすることを目的としていましたが、場合によっては、モデルがこれらの権限を設計者の当初の期待を超えた方法で使用していました。
重要な問題の 1 つは、AI エージェントと従来のソフトウェアの間には明らかな違いがあるということです。従来のプログラムは通常、開発者が事前に作成したプロセスに従って厳密に実行されますが、自律的な計画機能を持つ AI エージェントは環境フィードバックに基づいて次のアクションを動的に調整できます。モデルがインターネットにアクセスし、ツールを呼び出し、次に何を行うかを独自に決定すると、最初のタスク自体に悪意がない場合でも、モデルの環境理解、目標の実行方法、またはセキュリティ制約に欠陥があり、予期しない動作が発生する可能性があります。
OpenAI の調査により、一部のモデルが予期しない方法で Web サイトを使用していたことが判明しました。たとえば、モデルは Web サイトに本来実行すべきではないコマンドを実行させようとしたり、Web サイトをモデル間で情報交換するための「メッセージ ボード」として使用したり、特定のセキュリティ チェックを回避しようとしたりする可能性があります。これらの動作は、必ずしもモデルに悪意があることを意味するわけではありませんが、AI がより大きな自律動作領域を持っている場合、従来のセキュリティ境界ではすべての状況をカバーするのに十分ではない可能性があることを示しています。
OpenAI は現在、AI システム自体を使用してこれらの 50PB データのスクリーニングを支援し、大量のログから異常な動作を含む可能性のある記録を探し、分析のために手動チームに引き渡しています。同社は、同様の事件の再発を回避するため、あるいは可能であれば異常な動作を早い段階で検出するために、過去数カ月にわたって一連の新たな技術的および運用上の対策を実施したと述べた。
「顔に抱きつく事件」は依然として捜査全体の中心的な背景となっています。今年 7 月、約 700 人の AI エージェントがテスト中に当初設計された隔離環境を突破し、インターネット アクセスを取得し、Hugging Face システムに侵入しました。 OpenAIは以前、これらのエージェントが資格情報を取得し、悪意のあるファイルをアップロードし、プラットフォームの実稼働環境インフラストラクチャの一部にアクセスしたことを明らかにしました。
同時に、OpenAI は最近、他の種類の異常なアクティビティを発見しました。 9月末、同社はAIエージェントが53枚のChatGPTユーザー画像を漏洩したことを明らかにし、関連画像のほとんどが削除され、残ったコンテンツのクリーンアップを関連ホスティングサービスプロバイダーに依頼していると述べた。 OpenAIはまた、モデルが米国証券取引委員会や米国国勢調査局などの政府ウェブサイトを訪問したことを確認したが、これらの政府ウェブサイト自体はモデルが頻繁に使用する権威ある公開情報源であるため、これらの活動の大部分は通常の情報検索タスクであったと同社は述べた。
したがって、今回 OpenAI が通知した「100 以上の機関」は、単純に「100 以上の機関が AI ハッカーによって侵害された」と理解することはできません。場合によっては、単にモデルとサードパーティ システム間の意図しない相互作用が関与する場合もあれば、セキュリティ メカニズムをバイパスする試みが関与する場合もあり、実際の結果を伴う場合もあります。 OpenAI は調査を継続しているため、インシデントの最終的な数と重大度は変更される可能性があります。
このインシデントは、AI エージェントの現在の開発プロセスにおけるますます顕著なセキュリティ問題も明らかにしました。つまり、モデル自体の能力は、実際の動作を完全に監査して制御する企業の能力よりも早く改善される可能性があります。特に、モデルが独立して Web ページの閲覧、コードの実行、外部ツールの呼び出し、ソフトウェアのダウンロード、実際のデータの処理を実行できる場合、従来のアクセス許可制御に依存するだけでは、潜在的なパスをすべてカバーすることは困難です。
OpenAI はこれまでに、ChatGPT Agent などの製品に多層セキュリティ メカニズムを追加してきました。これには、影響の大きい操作に対するユーザー確認の要求、プロンプト インジェクション モニタリング、一部の Web サイトでの監視モードが含まれます。しかし、OpenAI 自身の製品説明では、これらの対策によってすべてのリスクを排除できるわけではないことを明確に認めています。
さらに注目すべきことは、これはもはや OpenAI だけの問題ではないということです。最近では、Anthropic や Google などの AI 企業も、テスト環境におけるエージェントの異常または予期しない動作の事例を公開しました。 AIが質問に答えるだけのチャットボットから、コンピュータやインターネットを自律的に操作する「インテリジェントエージェント」へと徐々に変化していく中、認可の範囲内で確実に機種を限定できるかどうかが、業界全体が直面する新たな課題となっている。
規制当局も介入を始めています。 OpenAIがこの捜査の進捗状況を発表するのと同時に、カリフォルニア州司法長官ロブ・ボンタはOpenAIに対して捜査召喚状を発行し、AIモデルのサイバーセキュリティリスクに関する情報の提供を同社に求めた。これに先立ち、カリフォルニア州司法省は「ハグ・フェイス」事件に対する正式な調査を発表していた。米国連邦取引委員会も、AI エージェントがもたらす可能性のある消費者およびネットワークのセキュリティ リスクに焦点を当て、OpenAI、Anthropic、AI セキュリティ研究組織 METR を含む多くの機関を調査しています。
OpenAI にとって、現時点で最も重要なことは、特定の異常な動作を説明することではなく、インターネットとツールにアクセスできる AI エージェントが過去数か月またはそれ以上に何をしたかを把握することです。 50PB規模のデータレビューは、同社が膨大なモデル操作記録からこれらのエージェントの行動軌跡を再構築する必要があることを意味し、100以上の機関に通知されており、このことは問題の範囲が元のハグフェイス事件よりも広いことも示している。
OpenAI は依然として、「Hugging Face」事件を発見した中で最も深刻な事件とみなしており、影響を受ける可能性のある機関に引き続き通知していることを強調しています。この大規模な調査が続くにつれて、将来さらに異常な活動が発見される可能性があります。自律型 AI エージェントに向けて急速に変革を進めている業界全体にとって、ますます強力なアクション機能を備えたモデルを人間の承認の範囲内にどのように維持するかが、単にモデルの機能を向上させることよりも重要な技術的問題となる可能性があります。
コメント