要約:
人類安全保障の研究者は火曜日、人工知能が「全人類を滅ぼす」可能性は 10% 以上あると述べた。このコメントは、別の従業員が人工知能研究所が「私たちの命を賭けている」という懸念から退職を選択したと述べたわずか数時間後に出た。
このコメントは、Anthropic と OpenAI が巨額の資金調達を続け、予想される上場に向けて進んでいるにもかかわらず、この技術が制御不能になり、人類に脅威をもたらす可能性があるという、人工知能の研究開発の中心にいる人々の間で懸念が高まっていることを浮き彫りにしています。
人類研究者のジェイコブ・コクソン氏は火曜日、会社を辞任したと発表した。彼は、Anthropic も OpenAI も責任ある慣行を採用していないと X プラットフォームに投稿しました。
「彼らは人間の命を賭けて、自己反復的な超知性を目指して真っ直ぐ進んでいます。」
自己反復とは、人工知能システムが人間の介入をあまり行わずに自己最適化を達成できることを意味します。この手法は再帰的自己改善と呼ばれることが多く、まだ実現可能ではありませんが、主要な AI ラボがその実現に向けて取り組んでいます。
このテクノロジーの力を過小評価しないでください。」とコクソン氏は言いました。「間もなく、あらゆるシステムにハッキングし、あらゆるセクターを一夜にして混乱させ、真の力とリソースを獲得できる人間の能力を超えたシステムが登場するでしょう。私たちは皆、これらの分野での進歩をこの目で見てきましたが、その進歩はまったく遅れていません。」
彼はさらに、「人工知能の研究開発に携わっている多くの人は、この 10 年代の終わりまでに AI が全人類を滅ぼすかもしれないと本気で信じています。」
この発言に対して、Anthropic 社のアライメント研究責任者である Evan Harbinger からの返答が返されました。同氏は、コクソン氏の発言が「正しい」だけでなく、アンスロピック社は現時点でこの状況に対する対応計画を持っていない、と述べた。
ハービンジャー氏は、
今年 6 月、Anthropic は次のように指摘しました。「完全に再帰的な自己反復は、人間が人工知能システムの制御を失うリスクも増大する可能性があります。」
Anthropic はブログ投稿で次のように書いています。「システムが完全な自律性を備えた次世代 AI を作成できるようになれば、システムを保護し、監視し、その動作を規制するための手段が重要になります。」
AI が制御不能になるのではないかという懸念は、長い間存在していました。テスラとスペースXのCEOイーロン・マスク氏は、人工知能が人類に脅威をもたらす可能性があると長年警告してきた。多くの一流の研究者や学者も警告を発し、AI システムの制御を失うリスクを企業に思い出させています。
今年 7 月、OpenAI モデルが異常な動作を示し、オープンソース開発者にとって重要なプラットフォームである Hugging Face に侵入したことで、こうした懸念はさらに強まりました。
コクソン氏は、顔に抱きつく事件を一連の「初期の警告サイン」とみなした。同氏は、このような事件により、米国のさまざまなAI研究所の間で合意に達する可能性が高まり、また多者間の協力に対する期待も高まったと考えている。しかしコクソン氏は、世界的なAI競争は避けられないとも警告した。
「世界的な競争を止めるほど私たちが進んでいるとは思えません。そのためには、モデルの機能向上の継続を一時的に禁止するなど、コストのかかる措置を講じる必要があるかもしれません。」コクソン氏は語った。
コメント