要約:
中国の AI 企業 Dark Side of the Moon の子会社である Kim K3 は、最近再びモデル蒸留論争に巻き込まれています。 OpenAI が発表した調査では、そのモデルの保護された推論コンテンツを対象とした組織的な抽出キャンペーンが、ダークサイド オブ ザ ムーンに関連する個人に関連付けられていたことが明らかになりました。関連アクティビティにより 1 日で約 16,000 件のリクエストが生成され、15,000 人以上のユーザーが関与しました。
OpenAI は、これらの操作は暗号化システムを突破したり、データベースに侵入したり、ユーザーの会話履歴を直接取得したりするものではなく、慎重に設計されたマルチラウンド モデル インタラクションを通じて、元々隠されていた推論プロセスを要求者に見える形式で再生成しようとしたと述べました。
OpenAI は、このインシデントを「調整されたモデルの蒸留イベント」と呼びました。いわゆるモデルの蒸留とは、より有能な教師モデルを使用して大量の出力を生成し、その結果を使用して小規模または低コストの生徒モデルをトレーニングし、後者が教師モデルの動作パターンと機能を学習できるようにすることを指します。蒸留自体は機械学習の分野では一般的な手法ですが、商用モデルの出力が許可なく大規模に抽出され、競合モデルのトレーニングに使用された場合、利用規約に違反し、さらには知的財産紛争につながる可能性があります。
OpenAI が発表した調査結果によると、関連アクティビティは 2026 年 7 月 1 日に初めて発生しましたが、当時はリクエストの数はまだ比較的少なかったです。その後、活動は徐々に拡大し、7 月 24 日と 25 日に明らかにピークに達しました。この 2 日間だけで、OpenAI は 4,000 人を超えるユーザーからの特定の抽出パターンを使用して、約 16,000 件のリクエストを検出しました。
OpenAI はさらに、同様のプロンプト ワードと操作モードが上記の 4,000 人を超えるユーザーの間で出現するだけでなく、15,000 人を超えるユーザーからなるより大きなユーザー グループに分布していると述べました。同社は、これらのリクエスト間のパターンと相関関係を分析することにより、それらが完全に独立した通常のユーザーの行動ではなく、調整された特性を持つアクティビティに属していると判断しました。
1 つのキー操作が特に興味深いです。 OpenAIによると、関係者はまずモデルが1つの会話から返した暗号化された推論コンテンツをコピーし、その後、別の会話で隠されたコンテンツを復号して転写するようモデルに依頼したという。言い換えれば、彼らは推論プロセスを保護するために OpenAI が使用する暗号化メカニズムを直接解読したのではなく、モデル自体の機能を使用してモデルに別の保護されたコンテンツを処理させ、それによって間接的に情報を回復しようとしました。
OpenAI は、この活動が「暗号化の解読」に成功したわけではなく、OpenAI のデータベースを突破したわけでも、サーバーに保存されているユーザーのチャット記録を取得したわけでもないと強調しました。その成功は主に、モデル間の対話を操作して、他の方法ではユーザーに直接表示されない保護された推論情報が別の形式で再表示されることにあります。
OpenAI は、最終的に 7 月 28 日頃にこの種の活動を完全にブロックしました。同社は、調査中に、活動の中核クラスターの 1 つが Dark Side of the Moon に関連する人々に関連していることを発見したと述べました。 OpenAIは公開声明の中で、コアクラスターは「キミ開発者のダークサイド・オブ・ザ・ムーンに関連する個人」によるものであると特定できたと述べた。
Dark Side of the Moon は中国の AI 企業で、その Kimi シリーズのモデルは近年急速に開発されています。同社は2026年7月に、約2兆8000億個のパラメータを備えたオープンウェイトモデル「Kimi K3」をリリースし、コードプログラミング、複雑な推論、AIエージェントタスク向けの新世代モデルとして位置付けた。 Kimi K3 はリリース後すぐに世界中の AI 開発者の注目を集め、そのパフォーマンスはいくつかのサードパーティ テストで米国の主要なクローズドソース モデルに近かったです。
この OpenAI の調査は、キミ モデルの出所について米国政府が提起した以前の疑惑にも注目を集めました。ホワイトハウス科学技術政策局長兼科学技術首席補佐官のマイケル・クラツィオス氏は今年7月末、米国政府は関連情報を持っており、ダークサイド・オブ・ザ・ムーンがアンスロピックのモデルを使ってキミK3を抽出したと信じていると述べた。ダークサイド・オブ・ザ・ムーンは告発を認めていない。
政府の声明に加えて、他の研究者が最近、キミ K3 モデルのトレーニング ソースを分析しました。クロード作品4.8のデコードされた推論内容の一部をキミK3に入力するだけで、その後のキミK3の思考プロセスや最終的な答えが大きく変化し、クロードの表現に近い表現になる可能性があることが研究で判明した。これに基づいて、研究者らは、Kimi K3 で特定のクロードおよび GPT 推論コンテンツを抽出する難易度が他のモデルよりも大幅に低いと考えています。
しかし、これらの研究だけでは、キミ K3 全体が不正な手段によって他のモデルから抽出されたものであることを証明するわけではありません。大規模な言語モデル間では、同様の回答方法、推論構造、知識表現が見られますが、これは公開データ、同様のトレーニング目標、強化学習方法、モデル アーキテクチャなどのさまざまな要因からもたらされる可能性があります。したがって、モデル間の部分的な動作の類似性の存在は、トレーニング データのソースにおける証明された不規則性と同等ではありません。
Kim K3 自体にも、Dark Side of the Moon によって開発されたテクノロジーが含まれています。このモデルは、キミ デルタ アテンションなどのアーキテクチャを使用して設計されており、大規模な推論タスク用に最適化されています。 Dark Side of the Moon は、KV キャッシュを削減し、各トークンのメモリ フットプリントを最適化することにより、推論コストも削減します。これらのテクノロジーにより、Kimi K3 を大規模なデータセンター ハードウェア上で実行できるようになります。
この論争の特別な点は、OpenAI 自体が主張している動作が単に模範解答をコピーしているのではなく、モデルが通常は直接表示しない「保護された推論」を積極的に取得しようとする試みであることです。隠蔽推論や暗号化推論メカニズムを採用する AI 企業が増えるにつれ、この種の情報はモデル機能保護の重要な部分になっています。競合するモデルが大規模な自動リクエストを通じてコンテンツを復元できる場合、モデル ベンダーがトレーニング結果と推論機能を保護するために使用するメカニズムが新たな課題に直面する可能性があります。
OpenAI は近年、同様のモデルの蒸留動作に対して何度も対策を講じてきました。同社は、ビジネス モデルの呼び出し、その出力の収集、およびそれらを使用した競合モデルのトレーニングを大規模に自動化することで、大量のコンピューティング リソースを持つ当事者が、他のモデルが長期の研究開発を通じて開発した機能を低コストで複製できるようになると考えています。
同時に、この事件は、中国と米国の間の人工知能競争において、AI モデルの抽出がデリケートな問題になりつつあることも示しています。米国政府は、中国のAI企業が米国企業のモデル成果物を利用して自社のモデル開発を加速する可能性があると繰り返し警告してきたが、中国企業は引き続き独立した研究開発能力と無差別重量モデルの重要性を強調している。現在の公開情報に関して、OpenAIは大規模な抽出活動の発見を確認し、その中心的な活動クラスターはダークサイド・オブ・ザ・ムーンに関連する人々に関連していると述べた。ただし、この帰属と、関連する活動が最終的にキミ K3 のトレーニングに使用されるかどうかを証明するには、さらに多くの公的証拠が必要です。
詳細:
https://openai.com/index/disrupting-a-coowned-model-distillation-campaign/
コメント