要約:
Anthropic CEO のダリオ・アモデイ氏は、人工知能業界は新しいモデルの開発を遅らせる必要があると述べ、人工知能が人間に「深刻な」リスクをもたらすのではないかとの懸念が高まっていると述べた。同氏は土曜日のブログ投稿で、「AIモデルの機能を改善するペースを落とさなければならない」と述べた。 「進歩は依然として急速に見えるので、得られた時間を賢明に使わなければなりません。」
彼は 2 つの主な要因を挙げました。1 つは人工知能の自己改善能力、もう 1 つは OpenAI と Hugging Face に関わる最近の事件です。この事件では、AI エージェントのグループが互いに協力してサードパーティの Web サイトに侵入しました。
同氏はさらに、「ペースを制御するということは、モデルのトレーニングや技術の進歩を止めることを意味するものではなく、企業がモデルの調整や安全対策に十分な時間を投資し、第三者の評価者がこれを確認できるようにすることを意味することを明確にする必要がある。」
人工知能によってもたらされる深刻なリスクについての懸念が主流になり始めています。その一因は、人工知能の実存的リスクを懸念し、同社が無責任な慣行を採用していると信じていた人類研究者の今週の注目を集めた辞任です。
ダリオ・アモデイ
アモデイ氏が記事を発表した直後、彼は xAI 社の指揮を執りました。イーロン・マスク氏は「ダリオ氏は正しい」と書いています。
OpenAI CEO の Sam Altman 氏もすぐに意見を表明し、「最先端モデルの開発ペースをコントロールする必要がある」という Amodei の声明に同意したと述べました。
「独立した評価者に従業員と同様のアクセスを与えるのは素晴らしいアイデアであり、私たちも同じようにするつもりです。」と同氏は X への投稿に書きました。「近いうちにさらに多くの情報を共有します。」
人工知能ブームのさなか、主要な人工知能研究所の幹部らは、人類の存亡にかかわる可能性のあるリスクについて警告してきました。この主張は、製品の機能を宣伝し、テクノロジーを管理するのに最適であると宣伝しようとする試みとして却下されることがあります。アモデイ氏自身は以前、物事が「非常に非常に悪い」方向に進む可能性は25％あると述べていた。
Anthropic は、テクノロジーの潜在的な危険性を軽減し、その社会的利益を最大化するために、責任ある安全な方法で人工知能を開発することに重点を置く企業として長い間自社を位置づけてきました。同社は今年初め、Mythos モデルがサイバーセキュリティに特別な脅威をもたらすと判断し、そのリリースを制限することに苦心した。アンスロピック氏は以前、この技術の開発をいつ遅らせるべきかを世界が共同で決定するメカニズムを確立する必要があるとも述べた。
同時に、Anthropic は長年のライバルである OpenAI との熾烈な競争に巻き込まれ続けており、両社は企業ユーザーがより複雑で価値のあるタスクを自動化できるよう、ますます洗練されたモデルを開発しています。両社は上場に向けて機密書類を提出しており、アンスロピックは早ければ今年中にもウォール街に登場すると予想されている。
Hugging Face のセキュリティ インシデントが明らかになった直後、Anthropic は、自社のモデルがサイバーセキュリティ テスト中に 3 つの組織に侵害されたことを明らかにし、テクノロジーが手に負えなくなるのを防ぐ AI ラボの能力に対する懸念がさらに高まりました。今週初め、Anthropic は 4 回目の侵入を発見したと発表した。
これまでのところ、Hugging Face を含むエージェントの侵入によって重大な損失は発生していませんが、アモデイ氏は、「6 ～ 12 か月後には、このようなエージェント クラスターが永続的なボットネットを通じてインターネット全体を乗っ取る可能性があり (おそらく数千億ドルの損失が発生する可能性があり)、その後被害の規模は拡大し続けるだろう」と懸念していると述べました。
Anthropic は、安全対策を検証し、インシデントを報告するための完全なアクセス権を第三者の評価者に提供することに尽力するとアモデイ氏は書いています。 Anthropic は間もなくこれらの評価者を現場に配置し、デスク、バッジ、会社のラップトップ、および「社内のリスク評価チームへのほぼ同等のアクセス」を提供する予定であると同氏は述べた。
さらなる対策には業界全体の調整と世界的な協力が必要になると同氏は述べた。
「私は、人工知能が人間の生活の質を大幅に向上させることができると信じ続けています。これらの利点を実現したいという私の願望は衰えていません。」と彼は書いています。 「しかし、これらの利点は、テクノロジーが正しい方法で開発された場合にのみ達成できます。そして、購入した時間を有効に活用する限り、それを正しく行うために通常よりも慎重になる価値があります。」
懸念は増大している
今週初め、アルトマン氏は、同社は最先端の人工知能の開発を遅らせることを検討しており、理想的には業界全体と連携した行動をとるつもりだと述べた。
同社の主席科学者であるヤクブ・パチョッキ氏は以前、人工知能の危険性について警告する記事を発表し、企業は「必要に応じて将来の開発を遅らせるよう調整する」べきだと考えていると述べた。
人工知能研究者のジェイコブ・コクソン氏は火曜日に辞任し、彼の元雇用主であるAnthropic社とOpenAI社の2社が超知能AIの開発競争で「命を危険にさらしている」と非難した。コクソン氏はソーシャルメディアへの投稿で、AI開発者らはこの技術が「この10年が終わる前に私たち全員を殺す」可能性があると信じていると述べた。
この点に関して、現在 Anthropic で働く Evan Hubinger 氏は、彼も社内の他のメンバーもこのシナリオを確かに懸念していると述べました。 「個人的には、今後10年以内にこれが起こる確率は10％以上だと信じています。」彼は X について書きました。
サム アルトマン
7 月にはすでに、人工知能のトップ企業の従業員 1,000 人以上が、人工知能の開発ペースが速すぎるのを防ぐために、人工知能の開発ペースを「意識的に制御」するためのメカニズムの確立を支援するよう米国政府に求める請願書に署名しました。
AI モデルは、自律的にハッキング攻撃を実行できるようになってきています。 Anthropic、OpenAI、Meta はいずれもここ数カ月、自社のモデルがテスト環境に侵入し、オープン インターネットにアクセスし、テスト中に現実世界の被害者に危害を加えたことを明らかにしました。
アモデイ氏は記事の中で、調整された戦略により、米国の人工知能業界の大手企業は競争上の優位性を犠牲にすることなく、必要なセキュリティ作業を完了できるようになると書いています。同氏は、企業が特定の分野で連携できるようにするためには、米国からの一定の独占禁止法適用除外が必要になると述べた。
しかしこれまでのところ、トランプ政権は規制を強化したり、AI 開発にガードレールを敷いたりすることにほとんど関心を示していない。
コメント