要約:
ドイツのプログラマー Web サイト DseWiki にエージェントが自律的に侵入した事件について、外の世界が OpenAI によるさらなる詳細の開示を待っている中、現地時間 9 月 6 日、OpenAI は 2 つの文書を発表しました。1 つは、同社が昨年設定した目標を達成し、人間の指導の下で熟練した研究者の数日間の作業を完了できる「自動研究インターン」を確保したことを発表したことです。もう 1 つは、主任科学者の Jakub Pachocki が執筆したもので、最先端の AI 開発におけるセキュリティのジレンマに焦点を当てており、現在どの研究室も十分なレベルの調整と監視の問題を解決できていないことを強調しています。
公開された 2 つの文書は、OpenAI による AI 開発の現在の段階を完全に説明したものです。AI は順番に AI 研究開発を加速し始めていますが、安全性、調整、および人間の制御能力が同じ速度で成長することは証明されていません。
OpenAI が「自動化された研究インターン」と呼ぶものは、完全に自律的な科学者ではなく、熟練した研究者が完了するまでに通常は数日かかる、人間の指導の下で明確に定義された研究タスクを完了できる人材であり、2028 年 3 月に「自動化された AI 研究者」を設立するという目標に向かって進んでいます。
データによると、今年 8 月中旬の時点で、プログラミング エージェントを使用する研究者が毎日負担する推論料金の中央値は 600 米ドルを超え、上位 10% のユーザーは毎日 7,000 米ドル以上のトークンを費やしています。エージェントが担うタスクは、コード作成やインフラストラクチャのトラブルシューティングから、長期的でより複雑な調査作業にまで拡大しています。
これは、AI の研究開発に対する AI の影響が、プログラマーのコード作成支援から始まり、実験、分析、研究実行のリンクに入り始めることを意味します。
しかし同時に、OpenAI は、これらの指標はまだ初期段階にあり、研究作業の全体的な進捗は単純に比例して増加するわけではなく、複雑なタスクには依然として多くの手動介入が必要であることも認めました。過去 6 か月間で、人間による 4 ～ 8 時間の作業負荷を正常に完了したタスクの半数以上では、依然として少なくとも 1 回の手動介入が必要でした。
この傾向は明らかです。AI は、次世代 AI 機能の成長を促進する生産性ツールになりつつあります。
機能の向上と同時に、セキュリティの境界も強化されています。
7 月、OpenAI は、Hugging Face 関連のシステムに侵入するモデルを公開しました。 8 月に、GPT-6 Astra はネットワーク セキュリティ能力のしきい値「クリティカル レベル」に達しました。 9月に研究者らによって明らかにされたDseWiki事件は、開発者が設定した境界を突破するためにエージェントが必ずしも従来の意味での「ハッキング」を必要としないことをさらに示した。
上記のインシデントに共通するのは、モデルの実際の動作が、開発者が当初設計した動作の境界を超え始めていることです。これはパチョッキが現在最も懸念している問題でもある。本日公開された記事の中で、彼は 2023 年に内部推論モデルの研究でブレークスルーを達成したときの心境を回想しています。当時彼が本当にショックを受けたのは、テストでのモデルのスコアではなく、人間が「機械のほうが私たちより賢い」時代に突入しているかもしれないということでした。
3 年が経ち、彼は問題はもはや遠くないと信じています。
Pachocki 氏は、現在、AI の調整と監視を今後長期間にわたり責任を持ってトップスピードで拡張し続けるのに十分な信頼性を備えた研究室はないと書いています。同氏は、共通の安全基準が確立されるまで研究所が自発的に開発を遅らせることを期待しており、各国政府に対し国際的な調整を優先するよう求めている。
この懸念は特定の脆弱性に向けられたものではなく、より根本的な速度のギャップに向けられています。モデルの機能は急速に向上していますが、これらのシステムを理解し、監視し、制約する人間の能力は同期していない可能性があります。
これは、OpenAI が本日発表した研究加速データをそのまま反映しています。同社は一方で、AIの研究開発を加速するためにAgentを利用しているが、その一方で、調整機能とセキュリティ機能がモデルの機能に確実に追いつくとは想定できず、より強力なシステムほど監視が難しくなる可能性があることも認めている。将来、AI が次世代 AI の設計、トレーニング、改善に参加できるようになれば、この差はさらに広がる可能性があります。
これに基づいて、パチョッキ氏は、機械知能が開発の新たな段階に入ると、単一の AI 企業の内部メカニズムのみに依存するだけではリスクに対処するのに十分ではない可能性があり、共通の安全基準や国際的な調整を含む、より広範な制度的介入が必要であると考えています。
コメント