OpenAIは、最新のAI推論モデルを監視するために新しいシステムを導入したと発表o3 および o4-mini は、生物学的および化学的脅威に関連する合図を検出します。OpenAIのセキュリティレポートによると、これらのモデルが誰かに潜在的に有害な攻撃を実行するよう指示する可能性のある推奨事項を提供しないように設計されたシステムです。

OpenAIは、O3とo4-miniのパフォーマンスが以前のモデルに比べて大幅に向上しているため、悪意のある攻撃者に新たなリスクももたらしていると述べた。 OpenAI の内部ベンチマークによると、o3 は特定の種類の生物脅威関連の質問に答えるのがより熟練しています。この理由から、また他のリスクを軽減するために、OpenAI は、同社が「セキュリティ重視の推論モニター」と呼ぶ新しい監視システムを作成しました。

このモニターは o3 および o4-mini 上で実行され、OpenAI のコンテンツ ポリシーを推論するようにカスタム トレーニングされています。これは、生物学的および化学的リスクに関連する手がかりを特定し、これらのトピックに関する推奨事項を拒否するようにモデルに指示するように設計されています。

ベースラインを確立するために、OpenAI はレッド チームのメンバーに、o3 および o4-mini のバイオリスクに関連する「安全でない」会話にフラグを立てるために約 1,000 時間を費やしました。 OpenAIによると、同社のセキュリティモニターの「ブロックロジック」をシミュレートしたテストでは、モデルは98.7％の確率でリスクプロンプトに応答しなかったという。

OpenAIは、モニターによってブロックされた後に新しいプロンプトを試行する可能性のある人々がテストで考慮されていなかったことを認めており、そのため同社は部分的に人間による監視に依存し続けると述べた。

OpenAIは、O3とo4-miniはOpenAIが設定した生物学的リスクの「高リスク」閾値を超えていないと述べた。ただし、OpenAI は、生物兵器の開発に関する質問に答えるには、o1 や GPT-4 よりも初期バージョンの o3 と o4-mini の方が役立つと述べています。

o3 および o4-mini システム カードの図 (スクリーンショット: OpenAI)

OpenAI が最近更新した防止フレームワークによると、同社はそのモデルによって悪意のあるユーザーが化学的および生物学的脅威をどのように開発しやすくなるかを積極的に追跡しています。

OpenAI は、モデルのリスクを軽減するために自動化システムへの依存度を高めています。たとえば、GPT-4oのネイティブ画像ジェネレーターが児童性的虐待コンテンツ（CSAM）を作成するのを防ぐために、OpenAIは同社がo3およびo4-miniに導入したものと同様の推論モニターを使用していると述べた。

しかし、一部の研究者は、OpenAI がセキュリティを適切に配置していないことを懸念しています。同社のレッドチームパートナーの1つであるMetrは、o3の欺瞞をベンチマークする時間がほとんどなかったと述べた。一方、OpenAIは、今週初めにリリースしたGPT-4.1モデルに関するセキュリティレポートを公開しないことを決定した。