要約:
ジェイコブ コクソン氏は、Anthropic on X からの辞任を発表しました。彼は、過去 3 年間、OpenAI と Anthropic で事前トレーニングの研究に従事してきましたが、両社が責任ある方法で AI 開発を進めていないと信じていると述べました。むしろ、彼らは「自己改善の超知性を目指して真っ直ぐ」行動し、人間の安全を危険にさらしているのです。
コクソン氏は、これらの閉鎖された研究所で現在構築されている AI システムは間もなく「超人的な」能力を備え、ハッキング攻撃を実行し、特定の分野のパターンを一夜にして変更し、現実世界の権力とリソースを獲得できるようになるだろうと語った。同氏は、関連する研究の進歩は多方向に進み続けており、減速する明らかな兆候は見られないと指摘した。
彼はまた、OpenAI CEO の Sam Altman 氏と Anthropic CEO の Dario Amodei 氏の公式声明から判断すると、外部の世界は両社が AI の開発を慎重に進めていると考えているかもしれないが、そうではないと信じていると述べました。コクソン氏は、これらの専門家らはAIが「今世紀末までに人類を滅ぼす可能性がある」と個人的に信じており、これはマーケティング上の話ではないと主張する。同氏はまた、アルトマン氏やアモデイ氏などの幹部らは、メディアに対峙する際にはより自制的に見えるようレトリックを調整するつもりだが、内心では実際に何が生み出されているかを深く懸念していると述べた。
彼の意見では、OpenAI と Anthropic の内部文化も異なります。コクソン氏は、OpenAI の従業員の多くは「文明レベルのリスクが関与していることを深く認識していない」と述べた。 Anthropic 社では、関連するリスクは「誰の目にも非常に明らか」ですが、同社は依然として最初に AGI を開発する競争に巻き込まれています。コクソン氏は、アンスロピック社は、他社が責任を持って行動しない可能性があるため、まず競争に勝つ必要があると考えていると述べた。
Coxon 氏は、この文脈において、民間企業では多くの重要な意思決定を Slack だけで完了すべきではないと考えています。同氏は、最近の出来事を受けて米国のAI研究所間の連携強化について慎重ながらも楽観視しているが、そのような協力は米国外の研究所に拡大されると効果がなくなると考えている。この目的のために、同氏はモデルの能力向上を一時的に禁止することを検討できると提案した。
ジェイコブ コクソン氏は投稿の最後で、他の研究所の研究者に対し、今後 5 年間について真剣に考え、問題を回避し続けるのではなく、AI 開発を別の方向に進めるよう呼びかけました。
コメント