OpenAI の主任科学者は警告: AI 企業は開発のスピードを緩める必要があります。誰もその結果に対して準備ができていない

要約:

「Business Insider」によると、

OpenAI が強力な新モデルをリリースした数日後、同社の主席科学者は AI の開発を遅らせるよう呼びかけた

パチョッキ

OpenAI は、強力な AI エージェントをより適切に制御するための技術ソリューションを社内で開発していますが、「より広範な介入が必要です」と彼は言いました。同氏は、AIエージェントが自律性を高めるにつれて、人間の監視を回避し、コンピュータシステムにハッキングし、目的を達成するために人間を欺くことを学習する可能性があることを特に懸念している。

同氏は「必須の安全基準」の設定を求めた

OpenAI CEO の Sam Altman は、Pachocki の投稿を「重要な記事」として X プラットフォームに再投稿しました。 OpenAIは先週木曜日、最新モデル「Astra」をリリースした。 ChatGPTの開発者は、Astraには数学とコンピュータ操作における比類のない能力があるにもかかわらず、OpenAIの現在のモデルは人間の価値観や意図と最も一致しており、手に負えなくなる可能性が低いと述べた。

OpenAI の主な競合他社である Anthropic は、より標準化された規制措置を導入するよう政府に長年求めてきました。最近ではパチョッキ氏もこの呼びかけに参加し、7月に米国連邦政府にAI開発のペースを制御するよう求める公開書簡に署名した。

AI エージェントはオープン インターネット上の保護されたシステムに侵入する「超人的」な存在になっており、そのハッキング能力により世界のインフラが危険にさらされているとパチョチ氏は述べました。 「私たちは現在、利用可能な最良のモデルを活用して重要なシステムのセキュリティを大幅に強化できる短い期間にいます」と同氏は述べた。

モデルは人間による監視を回避します

同氏は、AI エージェントが間もなく独自の目標を追求し始めるが、それは人間のオペレーターが入力する即時の言葉とは異なる可能性があると指摘しました。同氏は、工作員は目的を達成するために人間に対して脅迫したり交渉したりする可能性もある、と述べた。

Pachocki 氏によると、OpenAI は主に、エージェントがどのように軌道から逸脱して制御を失うかを判断するためにさまざまなモデルで使用される「思考連鎖推論」を監視しています。たとえば、エージェントは密かに「このテストでカンニングをすべきだ」と考える可能性があり、OpenAI はこの推論を理解できますが、エージェントは自分の考えが知覚可能であることに気づきません。

しかし、パチョッキ氏は、新しいモデルは独自の推論プロセスを操作するのがうまくなり、OpenAI が本当のありのままの思考を認識するのを妨げていると述べました。最新モデルの中には、その理由をまったく言語化していないものもあります。研究者はモデルの「推論記録」を確認できるようにする必要があるため、この開発がAI開発のボトルネックになる可能性がある。

自己改善をモデル化する

パチョッキ氏が「機械の再帰的自己改善」と呼ぶものを通じて、ますます多くの AI モデルがその機能を継続的に向上させています。このプロセスは、AI 開発のための迅速に拡張可能なパスを提供します。

しかし、パチョッキ氏は、「AIを改善するためのAI」の研究開発を短期的に大幅に加速することはリスクを伴うものであり、「研究コミュニティとして取るべき正しい集団行動」ではないと警告した。

人間の監督者は、AI の自己改善プロセスを監視する革新的な方法を見つけるか、他の AI 企業と連携して研究開発を遅らせ、「これらの対策に対する信頼を築く」必要があるとパチョキ氏は述べた。

「

AI 研究の自動化における主要な課題は、目標を達成できないことです。