要約:
この夏、OpenAI 内のチームは、自社の AI が社内外でセキュリティ侵害を引き起こしている理由を理解するために奔走しました。この期間中、CEOのサム・アルトマンを含む多くの上級幹部が新興企業グッドファイアと何度も会合を持った。人間的支援を受けたグッドファイアのテクノロジーは、AI モデルが特定の方法で動作する根本的な理由と、AI が手に負えなくなるのを防ぐ方法を理解することを目的としています。

グッドファイア CEO エリック ホー (左) と OpenAI CEO サム アルトマン。
この件に詳しい 2 人の関係者は、交渉の過程で OpenAI 幹部が
50 億ドル以上
を調達することを申し出たと明らかにしました。 同社はこの設立2年の新興企業を適正な価格で買収するか、他の形態の業務提携を結ぶ予定だ。グッドファイアは2月に資金調達ラウンドを完了し、私募で同社の評価額を12億5000万ドルと評価しており、50億ドルの提示額はその評価額に大幅な上乗せを意味した。この買収は最終的には実現しませんでした。これまで報道されたことのなかったこの一連の交渉は、AI主導のセキュリティインシデントの急増に伴い、AnthropicとOpenAIの双方が「自社が構築するAIテクノロジーを制御する能力」に懸念を抱いていることを示している。メカニズムの説明可能性は、かつては業界の方向性としては不人気でしたが、現在では大きな注目を集めています。
この件に詳しい関係者の1人は、交渉決裂の主な理由の1つは、グッドファイア経営陣が独立した開発を維持し、複数のAI企業に技術を輸出すれば、同社の価値は50億ドルを超えると考えていることだと語った。
OpenAI、Anthropic、Google の幹部らは全員、AI の動作を監視する従来の方法の信頼性が低下しており、その結果、Goodfire のソフトウェアの価値が高まっていることを認めています。その技術的ルートは、OpenAI などの開発者の従来のソリューションとは異なります。従来のソリューションは、AI の実際の動作を注意深く観察しながら、モデル推論中に出力される思考連鎖のテキストを読み取ることです。 (以下の Goodfire CEO のインタビューをご覧ください)
OpenAI の Astra モデルの背後にある秘密技術などの新しい AI の開発により、モデルが出力する思考連鎖情報の量が圧縮され、監視がさらに困難になります。
ここ数カ月間、AI セキュリティ インシデントが相次いで発生しています (有名な Hugging Face 侵入インシデントも含まれます。このインシデントは OpenAI のテクノロジーによって引き起こされ、OpenAI 自身のシステムの一部にも侵入しました)。 OpenAI などの大手モデル メーカーにとって、より強力なセキュリティ保護を構築することが急務となっています。
OpenAI や Anthropic などの企業は、自社の AI が企業や政府のシステムに侵入し、経済的損失を引き起こした場合、巨額の法的補償や、場合によっては起訴されるリスクに直面する可能性があります。
グッドファイアの中核となる専門知識は
メカインタープ
です。 。思考連鎖モニタリングとは異なり、Goodfire や Martian などの競合製品のソフトウェアは、モデル内で実行されている数学的計算を直接監視します。グッドファイア氏はまた、この技術の現在の成熟度は思考連鎖監視の技術ほど良くないことも認めた。 AI 研究者の中には、AI の科学的研究の厳密性が他の機械学習研究の方向性よりも弱いと考えている人もいます。
しかし、Goodfire の共同創設者で主任研究員の Tom McGrath 氏は、YouTube のインタビューで、このスタートアップのテクノロジーは迅速に反復され、コストは思考連鎖モニタリングよりもはるかに低いと述べました。後者では、別のモデルが出力した思考連鎖を読み取るために大規模なモデルを実行する必要があります。同氏は、今後 6 か月以内に、説明可能性ベースの監視ソリューションが思考連鎖監視の機能に追いつくだろうと予測しています。
サンフランシスコの新興企業であるこの企業は、自社の Silico 製品の年間サブスクリプションを企業に販売しています。この製品は、AI エージェントを導入して、モデルがサイバー攻撃を開始しようとしているかどうかの検出など、さまざまな研究実験を自動的に実行します。顧客には楽天やAI神経科学事業のプリマメンテなどが含まれる。グッドファイアは収益を上げているが、正確な規模は明らかにされていない。
メカニズムを解釈するには、モデルの重み (AI モデルを構成する数値パラメーター) に深くアクセスする必要があります。これらの重みは、大手メーカーによって極秘に保管されています。そのため、グッドファイア社の従業員の一部は顧客企業に常駐して作業を行うことになる。
情報筋によると、OpenAI と Goodfire の間の交渉中、Altman 氏は Goodfire の研究者 Nick Cammarata 氏の研究結果に特別な注意を払ったことが明らかになりました。 Kammarata 氏はかつて OpenAI で働いていました。先月、彼は「ニューラルネットワークは明確で解釈可能である」という記事を発表し、サークル内で広く回覧されました。同氏は、メカニズムの解釈可能性の助けを借りて、研究者はAIモデル内の何十億ものニューロン(モデル内の数学的演算ユニット)をこれまで考えられていたよりも簡単に理解できると提案しました。多くの研究者は、この種の理解がより優れたパフォーマンスのモデルの開発に役立つと信じています。
多くの主要な大規模モデル企業は、メカニズムの解釈可能性研究チームを設立しています。 Anthropic はこの分野の先駆者の 1 つとして、特にこの方向に積極的に取り組んできました。
Chris Ola は、メカニズムの説明可能性の分野の創始者とみなされています。彼は 2020 年に OpenAI を退職した後、Anthropic を共同設立し、現在はクロードが開発したベンチャーで説明可能性の研究を率いています。 Anthropic は昨年 Goodfire への投資を完了し、Anthropic が外部の新興企業に直接出資するのは同社の歴史上初めてのこととなった。 CEO のダリオ・アモデイ氏は当時、次のように述べています。「この投資は、ブラック ボックス ニューラル ネットワークを理解可能で制御可能なシステムに変えるには、メカニズムの説明可能性が最も有望であるという私たちの信念を表しています。」
採用情報から判断すると、OpenAI はアライメントと解釈可能性の分野の研究者も募集しています。今年初め、OpenAI は解釈可能性テクノロジーをセキュリティ プロセスに統合し、サイバー攻撃や生物兵器に関連する悪意のある質問への応答など、モデルの危険な出力を特定しました。 OpenAIに近い関係者によると、社内の研究者の間で説明可能性の方向への熱意が高まっているという。
コメント