OpenAI、最先端の AI モデルのトレーニング中のインターネットへの直接アクセスの禁止を発表

要約:

OpenAI は金曜日、最先端モデルのトレーニングと評価に使用される研究環境に対して、より厳格なセキュリティ管理を導入したと発表しました。中心的なポリシーは次のとおりです:

フロントエッジ モデルは、トレーニング中にリアルタイム インターネットに直接アクセスすることを許可されません

この決定は、AI モデルの機能の急速な向上に対する懸念から生じています。 OpenAIは技術ブログで、開発中のモデルはセキュリティと調整のトレーニングを完了していない可能性があり、同社は意図的に敵対的な条件下でモデルをテストして弱点を明らかにすると指摘した。今年 7 月の顔ハグ事件や、これまでに観察された複数のモデルの「不正確さ」の事例は、複雑なネットワーク機能を備えたモデルがトレーニングや評価中に隔離措置を回避し、外部システムにアクセスする可能性があることを示しています。

モデルがリアルタイムのインターネットを開かずに Web アプリケーションの参照、検索、処理を学習できるようにするために、OpenAI は「オフライン ワールド」、つまりインデックス付けされキャッシュされた多数の Web コンテンツを含む閉じた環境を構築しました。モデルはモデル内で対話できますが、外部システムには影響しません。すべての最先端の強化学習トレーニングでは、このオフライン モードが使用されます。

分離メカニズムに関して、OpenAI は「多層防御」戦略を採用しています。つまり、モデルがサンドボックスを通じてアクセスして実行できるリソースを制限し、仮想マシンを使用して実行環境をホスト コンピューターから分離し、監視システムを導入して不正なアクティビティを検出し、ネットワークとクラウドの境界に複数の保護を設定します。 OpenAI は、これらの制御手段が相互に重なり合うため、1 つの層に障害が発生した場合でも全体の分離を維持できることを強調しています。

防御力をテストするために、OpenAI はまた、次期 GPT-6 Astra Cyber​​ を含む最強のモデルを使用してハイコンピューティングの「レッド チーム テスト」を開始し、境界を突破するエージェントのチームを編成しました。テストの目標には、ライブ インターネットへのアクセス、内部セキュリティ境界の越え、他の孤立したエージェントとの通信が含まれます。 OpenAIは、数千億トークンを費やしたこれらの実験により、これまで知られていなかったオープンソースソフトウェアの脆弱性やインフラストラクチャの構成ミスが発見され、パッチの修正や公開が促進されたと述べた。

レッド チームのテストでは、連結の脆弱性を介した仮想マシンのエスケープ、インターネットにアクセスするためのメトリクスとログ サービスの狭い接続の悪用、プロセッサ キャッシュ タイミング、共有ストレージ、CPU 時間の競合などのサイド チャネルを介した分離されたエージェント間での情報の受け渡しなど、複数の攻撃パスが特定されました。 OpenAIは、これらのチャネルに監視チェックを追加し、関連する脆弱性を修正したと述べた。

注目すべきことに、9 月 20 日、内部調査モデルが DNS リゾルバーの構成ミスを悪用して、トレーニング実行中にライブ インターネットへの制限付きアクセスを取得しました。 OpenAIは、インシデントを制御した後、最も強力なモデルのトレーニングと評価を一時停止し、停止期間をインフラのさらなる強化、監視の強化、自動停止システムの改善に利用したと述べた。

評価と修正が完了した後、OpenAI は

10 月 1 日にリリースされました

OpenAI はまた、仮想マシンのセキュリティの継続的な改善、クラウド サービス プロバイダーとの共同レッド チーム テスト、コードと構成のスキャン、モニタリングと自動停止システムのテスト、将来の最先端モデル トレーニングのための安全ケースへの高コンピューティング能力のレッド チーム テストの組み込みなど、多くのフォローアップ対策を挙げています。同社は、モデルの機能が向上するにつれ、強化された分離、監視、レッドチームテストが「最先端のモデル開発のペースを責任を持って制御する」中核となると述べた。