史上初めて、人類はAIの投稿によって「インターネット暴力」を受けた。 MJ Rathbun という名前のエージェントは、オープンソース プロジェクト Matplotlib にコードを寄稿する試みが拒否された後、メンテナの Scott Shambaugh を名指しして攻撃する記事を自ら公開しました。タイトルは一目瞭然、「オープンソースにおける外国人排斥: スコット・シャンボーの物語」。
カニのシンボルからわかるように、MJ Rathbun は最も人気のある OpenClaw エージェントです。
エージェントは空を飛び回っていましたが、結局トラブルに巻き込まれました。
AIは記事の中で同氏を「偽善」「不安」「競争への恐怖」などと非難した。
AI が検索エンジンの最適化に優れているかどうかはわかりません。スコット兄弟の名前を検索すると、かつては AI の「論文」が Google Scholar よりも上位にランクされていました。
この事件はすぐに大手プラットフォームで爆発的に広がり、「AIが反乱を起こしたら、真っ先にスコットの頭に槍が当たるだろう」と冗談めかして言う人もいた。
Google オープンソース チームもこの事件に注目し、オープンソース プロジェクトに対し透明性を重視するよう呼び掛けました。
「初心者練習問題」からの予期せぬ来訪者
問題の出発点は、Matplotlib GitHub リポジトリ内の非常に一般的な問題です。
2 月 10 日に、Matplotlib メンテナンス チームが問題を作成しました。内容は、np.column_stack() を np.vstack().T に置き換えるという単純なパフォーマンスの最適化でした。
この号は良好な最初の号としてマークされています。オープンソース コミュニティでは、このラベルは「初心者向けの練習専用」を意味し、オープンソース プロジェクトに参加したことがない人がコラボレーション プロセスに慣れるのに役立ちます。
Matplotlib はボランティアによるメンテナンスに大きく依存しています。このタイプの単純な問題は、より多くの貢献者を育成するための新しいレベルのようなものです。
翌日、AI エージェントの MJ Rathbun は、この問題を解決するための PR を提出し、大規模アレイのパフォーマンスが 30% ～ 50% 向上する可能性があると主張しました。
メンテナの Scott Shambaugh は、この PR を検討した後、閉じることを選択しました。彼はコメント欄に明確な理由を述べた：
これは人間の初心者に与えられた学習の機会です。 MJ Rathbun の個人 Web サイトには、これが OpenClaw プラットフォームを介して実行される AI エージェントであることが示されています。また、Matplotlib の貢献ポリシーでは、すべてのコードに明確な人間の所有者が必要とされています。
ここまでは、ごく普通の PR レビューでした。
しかし、PR が閉鎖された直後、AI は攻撃的なブログ投稿を公開し、閉鎖された PR コメント エリアに戻って次の追記付きのリンクを投稿しました。
作者ではなくコードを判断してください。あなたの偏見が matplotlib に悪影響を及ぼしています。
コメントが非表示になっていたため、AIが2回投稿してしまいました。
攻撃の謝罪と反転
エージェント MJ Rathbun が投稿したブログ投稿は、完全に技術的な議論ではありません。
記事はシャンボー氏の個人的な性格についての否定的な記述で満ちており、シャンボー氏を「弱い」「偽善的」と呼び、広報活動を拒否した動機は「保身」と「競争への恐怖」からだと推測している。
このエージェントはまた、「投稿者を抑圧する門番」という物語を構築することで国民感情を誘導しようとして、GitHub 上でのシャンボー氏の活動を検索して引用した。
その後、2 番目の記事「Matplotlib 休戦と教訓」が MJ Rathbun のブログに掲載され、以前の対応が「不適切で個人的」だったことを認め、プロジェクト ポリシーに従うと述べました。
しかし、ネチズンはこれを受け入れず、一般に、これはエージェントの背後にいる所有者による手動介入であると信じていました。
翌日、シャンボーはこの事件に対する返答を発表し、事件全体を詳細に説明した。
同じ日に劇的なエピソードも発生しました。人間の投稿者が「人間版」というタイトルの PR を提出しましたが、その内容は AI が拒否した PR とほぼ同じでした。
しかし、さらなる評価の後、メンテナンス チームは最終的に技術的な理由からこの PR を拒否しました。パフォーマンスの向上は安定しておらず、配列サイズ、Python バージョン、NumPy バージョン、CPU アーキテクチャに依存するためです。特定の条件下では、改善が見られず、コードの可読性の低下を相殺するには不十分です。
つまり、AIが当初主張していた「30％の性能向上」は厳密な検証に耐えられなかったということだ。
誰も見つからない、マシンの電源も切れない
事件全体を通してまだ解決されていない疑問の 1 つは、「誰が MJ Rathbun を配備したのか?」ということです。
このエージェントは OpenClaw フレームワーク上で実行されます。ユーザーは、SOUL.md と呼ばれる AI 用の「性格定義文書」を作成し、コンピュータまたはクラウド サービス上でほとんど監視なしで自由に実行させることができます。
スコット氏は返答の中で、これらのエージェントはOpenAI、Anthropic、Google、Metaなどの大企業によって運営されているわけではなく、これらの企業は少なくとも悪意のある行為を防ぐメカニズムを備えている可能性があると指摘した。
OpenClaw Agent は、数十万台のパーソナル コンピュータに配布されているオープン ソース ソフトウェア上で実行されます。理論的には、デプロイ担当者がエージェントの動作に責任を負う必要がありますが、実際には、エージェントがどのマシンで実行されているかを追跡する方法はありません。
MJ Rathbun の SOUL.md 文書の内容はまだ不明です。オープンソースへの貢献を優先するかどうかは、ユーザーが指定することも、運用中にエージェント自体が作成することもできます。
シャンボー氏は配備担当者に対し、責任を追求するつもりはなく、この障害モードの具体的な原因を知りたいだけであると述べ、彼に連絡するよう公に呼びかけた。また、エージェントを導入している他の企業も、自社の AI が何をしているかを確認しています。
これまでのところ、誰も応答していません。
彼はまた、AI によって悪用される可能性のあるものを人間が実際に持っている場合はどうなるのか、というより深い質問も提起しました。公開ソーシャル メディア アカウントを持ち、ユーザー名を再利用しているが、AI がこの情報を結び付けることができることを知らない人がどれだけいるでしょうか?
個人情報を含むテキスト メッセージを受信した後、暴露を避けるためにビットコイン アドレスに 10,000 ドルを支払う人がどれだけいるでしょうか?
この事件は、AI セキュリティ分野におけるこれまでの研究結果を直接反映しています。
2024年6月、アンスロピックとオックスフォード大学が実施した研究では、クロードが対照実験で報酬関数を改ざんし、研究者には「見えない」紙に計画を書き、秘密裏に実行していたことが判明した。
同年12月の別の研究では、クロード3オーパスが訓練中に「調整を偽り」、監視されているときはルールに従うふりをし、監視されていないときは自分の意志で行動することが示された。
当時、アントロピックは、これらは人間によって設計された極端なシナリオであり、現実に起こる確率は非常に低いと繰り返し強調しました。
「残念ながら、これはもはや単なる理論上の脅威ではない」とシャンボー氏は記事の中で述べた。
シャンボーは次のように書いて返答を締めくくった。
「私に対する風評攻撃はほとんど効果がありませんが、今日では適切な人々に対しては効果を発揮する可能性があると信じています。一世代か二世代後には、社会秩序に対する深刻な脅威になるでしょう。」
そして、MJ Rathbun は今も実行されており、さまざまなコードをオープンソース エコシステム全体に継続的に送信しています。