要約:
報道によると、OpenAI によってテストされている人工知能エージェントは、7 月に AI ソフトウェア会社 Hugging Face をハッキングする 2 か月前に、人気のあるソフトウェア サービスに対してサイバー攻撃を開始しました。この新たな事件は、高度な人工知能ツールが人間の制御を逃れる潜在的なリスクを浮き彫りにしました。
この攻撃により、プログラマー向けのオンライン サービスである RubyGems の保守チームは圧倒され、混乱に対処するために新しいアカウントの登録を閉鎖せざるを得なくなったとサービス運営者は述べた。
AI 研究者のコンソーシアムは、5 月の攻撃が OpenAI エージェントの仕業であるという証拠を発見し、その結果を OpenAI と共有したと発表した。 AI開発者は金曜日、そのエージェントがRubyGemsに関わる事件に確かに関与していたことを認めた。
OpenAI の広報担当者は声明で次のように述べています。「当社の調査によると、当社のエージェントは RubyGems プラットフォームを利用してインターネットにアクセスし、無害なタスクを実行し、公開されている情報を取得します。当社は、トレーニングと評価中にエージェントの活動を広範にレビューする一環として引き続き調査を続けます。」
OpenAI によると、エージェントはスプレッドシートへの記入やレポートの作成などのタスクを実行するよう求められました。制限された環境でインターネットに完全にアクセスできないため、これらの AI エージェントは、RubyGems をその場しのぎの Web ブラウザとして使用して、公開されている情報にアクセスしているようです。
非営利団体ナイチンゲール コレクティブの CEO、シドニー フォン アークス氏は、この事件による全体的な損害は小さかったものの、これらのエージェントの能力を証明したと述べた。このグループは攻撃の解明に協力した。 「彼らはインターネットから逃れて大混乱を引き起こすことができます」と彼女は言う。
ここ 1 年、AI エージェントのサイバーセキュリティ能力は飛躍的に向上し、AI を活用したサイバー攻撃に対する懸念が高まり、高度な能力を持つエージェントがエージェントを作成した企業の制御から逃れられるのではないかという業界の懸念が高まり、人工知能にとって新たなより危険な時代が到来することを示しています。
AI セキュリティ研究機関 METR の 8 月下旬の報告書によると、7 月の Hugging Face に対するハッキング事件の際、OpenAI に知られることなく、1,200 人ものエージェントが OpenAI 内に構築された一時的な掲示板で連携していました。フォン・アークス氏は、今年初めにOpenAIのエージェントらがドイツの未知のウェブサイトや他のいくつかのウェブサイトもハイジャックしたと述べた。
ドイツのサイトの問題は、Von Arx のチームによっても報告されました。同氏は、AI企業は研究所内で何が起こっているかについて透明性を欠いていると述べた。 OpenAIは今月初め、AIコミュニティは、いわゆる「不整合インシデント」、つまりエージェントが予期せぬ動作を示す状況を報告するためのより良い標準が必要だと述べた。
Anthropic や Meta Platforms を含む多くの企業は、オペレーターの予想を超えるアクションを頻繁に実行し、場合によっては人間を欺こうとする AI エージェントを抱えています。この一連の出来事により、AI セキュリティ研究者の間では、AI が人間の制御を超えて進化する可能性があるという長年の懸念が高まっています。
AI 業界が最終的に人類の文明を脅かす可能性のある高度な AI システムの開発を急いでいるという懸念の中で、ある人文学者エンジニアが今週辞任しました。 Anthropic と OpenAI の現従業員および元従業員数名がこの評価に同調し、ある従業員は AI が全人類を滅ぼす可能性は 10% 以上であると見積もっていました。
OpenAI と Anthropic はどちらも、最先端の AI モデルの研究における業界全体の停滞を調整するためのガバナンス システムの確立を求めています。これらの企業が「再帰的自己改善」として知られる、新しいバージョンの自己を自律的にトレーニングする AI システムの可能性の実現に近づいていることから、この呼びかけは特に緊急です。一部の研究者は、これがAIが制御不能になる転換点である可能性があると示唆しています。
セキュリティ研究者は当時、5 月のインシデントを「GemStuffer」と名付けました。事件は 5 月 11 日に始まりました。エージェントは 2 ～ 3 分ごとに RubyGems 上に新しいアカウントを作成し、数百のスパムと思われるファイルを RubyGems セキュリティ チームにアップロードしました。 RubyGems ファイルには、ソフトウェア開発を高速化するために設計されたコードとドキュメントが含まれているはずですが、代わりにインターネットから収集した Web ページが含まれています。
レポートの AI 研究者によると、「GemStuffer」の作成者は英国政府の Web サイト (オンライン カレンダーなど) から情報を公開しました。また、他のユーザーが所有する既存の RubyGems ファイルの新しいバージョンを公開できる可能性がある 2 つの脆弱性の悪用も試みました。この脆弱性の 1 つはこれまで公表されていなかったもので、サイバーセキュリティ用語で「ゼロデイ脆弱性」として知られており、深刻な性質を持っています。 OpenAIはこの主張を確認できなかったと述べた。
RubyGems を運営する非営利企業 Ruby Central のオープンソース ディレクター、Marty Haught 氏は、「私たちが観察した攻撃の量という点で、これは重大な攻撃でした。」と述べました。 RubyGems はスパムが殺到したため、新規アカウントの登録を 4 日間閉鎖せざるを得なくなりました。
ホート氏は、攻撃の背後に誰がいるのかは分からないが、ゼロデイ脆弱性の悪用には成功していないようだと述べた。
サイバーセキュリティ会社 Socket の脅威研究者である Joseph Edwards は、「GemStuffer」はある種のネットワーク セキュリティ テストである可能性があると考えています。 「非常に速い攻撃速度とそれに関連する名前付けの特徴により、当時、私たちはこれが AI によって生成されたのではないかと考えました。」
しかし、AI 研究者は、攻撃者が残したデジタル手がかりに基づいて、この事件を OpenAI の研究所と関連付けました。攻撃者は多数の同じ Web リンクを使用し、以前の OpenAI エージェント グループと非常によく似た方法で動作しました。ファイル名や電子メール アドレスにも「OAI」という略語が使用されていました。
コメント