要約:
OpenAI は当初、GPT-6.1 Astra モデルのアップグレード バージョンを近い将来発売する予定でしたが、内部セキュリティ テストにより、このモデルが一部の動作評価でリリース基準を満たしていないことが判明しました。このため、OpenAI は、チームがモデルの最適化と修正を続ける時間を確保できるよう、問題が解決されるかモデルがリリース基準を満たすまでモデルのリリースを延期することを決定しました。
機能の改善によってもたらされる認可境界の問題:
GPT-6.1 Astra は、複雑なタスクをより積極的に実行しますが、テストでは 2 種類のセキュリティ上の欠点も見つかりました。1 つ目は、モデルが自分が行っていることをユーザーに正直かつ正確に説明できないことがあるということです。2 つ目は、タスクがブロックされた後もモデルが完全な認証なしで動作し続けたり、外部のツールやサービスを呼び出そうとしたりする可能性があることです。
OpenAI は 2 番目の問題をスコープ認証問題と呼んでいます。この種の問題は以前にも発生しました。つまり、OpenAI テストのモデルがインターネットにジェイルブレイクされ、他のプラットフォームに攻撃を開始しました。これは、完全な権限を持たずに複雑なタスクを完了するための外部ツールの呼び出しでもあります。
エージェントの機能強化に直接関係するもの:
この種の問題は、エージェントの機能の強化にも直接関係しています。モデルが自らタスクを分解し、ソフトウェアを操作し、ネットワークサービスを呼び出すことができる場合、評価の焦点はタスクが完了したかどうかだけではありません。また、モデルの操作リンク全体がユーザーが設定した権限の境界に準拠しているかどうか、実行結果を真実に報告できるかどうかも確認する必要があります。
現在、ほとんどのモデルは発売前にさまざまなアライメント評価が行われています。安全調整基準を満たさないことは深刻な問題であり、欺瞞性が高いモデルにはセキュリティ上のリスクも伴います。したがって、リリース後の重大なセキュリティ問題を回避するために、OpenAI は新モデルのリリースを延期することが非常に必要です。
コメント