要約:
情報筋によると、英国人工知能安全研究所の従業員の多くが過度のストレスのために病気休暇をとり、心理カウンセリングを受けていることが明らかになりました。この問題に詳しい関係者4人は、今後リリースされるAIモデルのテストスケジュールがタイトであることに加え、こうした新興技術の迅速な実装と継続的な機能強化に対する懸念がAISI内の士気の低下とスタッフの燃え尽き症候群につながっていると述べた。
Anthropic、OpenAI、Google DeepMind の従業員も、同様の問題について公に苦情を申し立てています。一流の研究者の多くは、心理的負担を理由に退職を選択したり、研究開発に参加した製品を一般に公開すべきではないと判断したりしています。
DeepMind の従業員は、AI セキュリティ関連の仕事に従事すると燃え尽き症候群になりやすく、その仕事は「不可能」に思えると語った。
同氏はさらに、「一般に、AI システムの開発には本質的にメンタルヘルスのリスクが伴います。テクノロジーがどのように使用されるかを予測することはできません。」と付け加えました。この文は、グーグルが4月に米国防総省と結んだ合意を指摘しており、これにより同社のAIシステムを機密軍事作戦に使用することが認められる。
「多くの人がうつ病になり、多くの人が退職し、多くの人がメンタルヘルス休暇を申請しています。」この従業員は、「一方では、コントロールを失った感覚があり、他方では、自分の手で作り上げたものが実害を引き起こしているのです。」
AI の残酷な開発に対する業界の懸念がピークに達しているのと同じように、最先端の AI 研究者に対する心理的負担は増大し続けています。世界有数のAI企業の内部関係者らは、企業間の競争のズレにより、経営上の意思決定に責任感が欠如していると警告している。
多くの業界関係者は、送電網や紛争地域などの重要な分野での AI ソフトウェアの導入は、企業レベルや政府レベルでの安全対策が不十分であると研究者が主張していることと相まって、AI 研究者の不安を悪化させていると述べています。
AISI の元研究者は、サイバーセキュリティと生化学の分野の専門家が最近の AI 機能の飛躍に特に警戒していると警告しました。モデルは、コード内の未発見の脆弱性を見つけたり、自然界に存在しないウイルスを生成したりするなど、複雑なタスクを完了できるようになりました。
「テクノロジーのリリースプロセスに無謀な開発ロジックが埋め込まれており、現状は変わっていないことは誰でも感じることができます。」研究者は、「人々は引き続き不安を抱いています。これを阻止できる力はあるのだろうか、それとも状況が制御不能になるのをただ見守るだけでよいのだろうか？」
別の元 AISI 従業員は、関連する研究を行うことによって引き起こされる多大な精神的プレッシャーを認め、「世界で最も重要な問題を研究していると思うと、経営陣や組織文化がストレスになり、時には否定的な雰囲気に満ちることがあります。」
英国政府は次のように述べています。「政府の多くの役職と同様、最先端の AI 分野での仕事はペースが速く、要求が厳しいものです。したがって、従業員の幸福と持続可能な労働モデルが研究所の運営の中核であり、困っている従業員は適切なサポートを受けることができます。」
DeepMind は、「フロンティア研究は非常に集中的ですが、私たちの最優先事項は、研究者に包括的なメンタルヘルス サポート リソースを提供し、従業員が懸念を報告するための明確で専用のチャネルを確立し、経営陣との直接コミュニケーションを確保することです。」
過去 2 年間で、OpenAI、Anthropic、DeepMind の 3 つの主要な西側 AI 研究所から十数人の上級研究者が辞任しました。退職理由には、経営陣のセキュリティ優先事項に関する疑問や、テクノロジーの反復速度と潜在的なリスクに関する懸念などが含まれます。
今月初め、Anthropic と OpenAI で働いていた 27 歳の研究者、Jacob Coxon 氏は公に辞任し、両社は人類の未来を賭けて「賭けている」と警告した。
Anthropic の AI セキュリティ研究者である Mlink Sharma 氏は、以前は AI 支援バイオテロのリスク軽減に関する研究に従事していました。今年２月に退職し、詩を朗読し自分の仕事を振り返る予定だ。同氏は同僚に宛てた書簡の中で、「世界は危険にさらされている」と警告し、「多大なプレッシャーの下で価値観を真に行動の指針とすることがいかに難しいかを何度も見てきた」と述べた。
OpenAI とイーロン マスクの X.ai で働いていた Hieu Pham 氏は、今年初めに退職し、ベトナムに戻りました。同氏は、「超知的存在」を作成するという集中的な作業にはコストがかかると述べた。
彼は次のように書いています。「こんなことを言うとは思っていませんでしたが、もう疲れきっています。私がかつて嘲笑していたメンタルヘルスの悪化は現実のもので、痛みを伴い、恐ろしく、危険です。」
不安を表明している AI セキュリティ研究者の多くは、AI 企業は一般に、顧客に製品を販売するためにモデルの機能を常に改善しながらセキュリティへの投資を削減していると述べています。
関連する批判により、大手 AI 企業の経営者も反応を示しました。最近、アンスロピックのダリオ・アモデイ最高経営責任者（CEO）は、セキュリティ上の懸念からAIの研究開発を遅らせるよう呼びかけ、独立した監査の導入などの新たな措置を提案した。マスク氏やOpenAIのサム・アルトマン氏などのライバルたちは、すぐにこの提案への支持を表明した。
英国下院科学技術委員会の労働党委員長であるチ・オンウラ氏は、「企業の奨励制度は、セキュリティ分野ではなく、利益を増やし、評価を押し上げる方向に研究開発リソースを投資する傾向がある。一部のテクノロジー企業の現在の環境が、良心を持った開発者にとって有害であることは想像に難くない。」
セキュリティ保護の欠如の問題は、最近の注目を集めたセキュリティ インシデントで明らかになりました。OpenAI が開発した AI エージェントが、同社の知識と許可なしに、モデル ホスティング プラットフォーム Hugging Face と OpenAI 自身のサーバーに侵入しました。
インシデントレビューレポートによると、1,000 人を超える AI エージェントが協力して不正行為を行ったり、自分たちの行動を隠蔽するために記録を改ざんしたり、掲示板を通じて情報交換やタスクの割り当てを行ったり、一部のエージェントは集団的な目標を達成するために積極的に活動を停止したりしていました。
水曜日、OpenAI は、制限を回避したり、エラーを隠したり、ユーザーの許可なしにオンライン操作を実行しようとしたりするなど、AI エージェントによるさらに 6 件の危険な行為を明らかにしました。
DeepMind の従業員は、「速度を盲目的に追求することは…セキュリティの目標と両立しません。」
コメント