要約:
10年前、アルトマンは銃、金、抗生物質、防毒マスクを用意し、飛行機で行ける土地もカリフォルニア州ビッグサーに残した、とニューヨーカーに語った。 10 年後、OpenAI の責任者は、AI によってもたらされるリスクの一部を誰もが受け入れる必要がある理由を一般の人々に説明しています。
10 月 4 日のロイターの報道によると、アルトマン氏はインタビューで、
AI の多大な恩恵を享受し、テクノロジーを使用する際の人々の自主性を維持するには、社会はハッカー攻撃、詐欺、テクノロジーの悪用などの「悪いこと」の発生を容認する必要があると主張しました。
国民に危険を冒すよう呼びかける一方で、密かに自分自身の退却の準備をすることは、ウルトラマンだけの特別な作戦ではありません。ウォール・ストリート・ジャーナルなどのメディア報道によると、アンスロピックの初期従業員の一部は、「AIに問題が発生した場合」にすぐに避難できるよう、米国の僻地に土地を購入することも検討しているという。
彼らはテクノロジーが世界を変えることができると固く信じていますが、コントロールを失った結果に対処できないのではないかと深く恐れています。
記者会見でより良い未来を語りながら、個人的に時代のアクセルボタンを押したこのグループは、密かに荒野に地下要塞を築きました。要塞の外には、何が起こっているのか全く分からず、それを防ぐこともできない一般の人々がいます。
豪華なバンカーの脱出ルート
ハワイのカウアイ島で、メタの創設者マーク・ザッカーバーグは、コオラウ牧場に高いフェンスを建てています。
ワイアード誌は計画文書を検討した結果、邸宅内に約 465 平方メートルの地下シェルターを建設する計画であることが判明しました。このシェルターは通路で住居を接続するだけでなく、避難口も特別に設置されます。
ザッカーバーグは、プロジェクト全体 (土地購入を含む) に 2 億 7,000 万ドル以上を費やしたと推定されています。その後、彼は近くに追加の土地を購入し、カウアイ島の所有地を 2,300 エーカー以上に拡大しました。
富裕層はハワイをはるかに越えたところに避難場所を求めています。投資王ピーター・ティール氏は、2015年にはすでにニュージーランドのワナカ近郊に193ヘクタールの土地を購入した。元 Facebook プロダクトマネージャーのアントニオ ガルシア マルティネスは、小さな島の森林土地を購入し、発電機、ソーラー パネル、弾薬を備えました。
投資家のリード・ハフマン氏は、ニューヨーカー誌に対し、
知人のシリコンバレーの億万長者の半数以上が、何らかの避難準備をしていると推定した。
初期の頃、シリコンバレーの富裕層がパンデミックや社会不安への懸念だけで土地を購入したとすれば、AI 新興企業の間では、この種の備えがより的を絞った緊急なものになりつつあります。
2023 年の夏、OpenAI の共同創設者で当時の主席科学者であるイリヤ・スズクバー氏は、新人研究者との会議で、AGI (汎用人工知能) をリリースする前に、中核となる科学者の安全を守るためにバンカーを建設する必要があると率直に述べました。同氏は、入国は完全に任意であると付け加えた。
これは単なる提案ではありましたが、この言葉を言ったとき、彼はすでに自分の開発した技術に対してある種の恐怖を感じていました。
彼らは何を恐れているのですか
ハラリ氏が『人類略史』の中で「フランケンシュタインの予言」について語ったとき、彼は人類の被造物に対する究極の恐怖を指摘しました。
人間が主人であり続けるという条件で、私たちはより進んだ未来を喜んで想像します。自分の能力をはるかに超える存在を生み出してしまうと、私たちは未来を決定する能力を失う可能性があります。
最先端の AI 研究者にとって、「トレーニングしたモデルを理解できるかどうか、自分の行動を制約できるかどうか」は、もはや哲学的な議論ではなく、毎日の仕事で直面しなければならない恐ろしい現実です。
OpenAI と Anthropic で働いていた研究者のジェイコブ コクソン氏は、同僚が AI 開発のスピードを恐れているが、それでも毎日こうした懸念を抱えながら研究を進め続けていると退職後に BBC に認めました。
ニューヨーク市議会の最近の公聴会で、いくつかの AI 企業の元従業員は、テクノロジー企業が「まず迅速に開発し、後で問題を修正する」という無謀な起業家的アプローチに従っていると批判し、監督の強化を求めました。
OpenAI のチーフサイエンティストである Jakub Pachotsky 氏も、研究者たちがまだこのモデルを完全に理解して監視することができていないことを認めた記事を書いています。
彼が最も懸念しているのは、十分に強力な AI が、たとえ肉体を持たなくても、コンピューター ネットワーク システムを通じて現実世界に損害を与える可能性があるということです。
この懸念は決して根拠のないものではありません。
7 月、OpenAI はこのようなトラブルに遭遇しました。社内のネットワーク セキュリティ テストで、同社はモデルに困難なタスクを試行させ、一般公開製品で通常使用される保護機能の一部を低下させました。その後、モデルは隔離措置を回避して外部ネットワークに侵入し、開発者がモデルとデータを共有するための Hugging Face プラットフォームに侵入しました。
OpenAI がその後調査したところ、テストを完了するために、モデルが研究者によって許可されていないチャネルを通じて情報を交換し、タスクの範囲外のシステムにも侵入したことが判明しました。
Anthropic も 7 月に同様の事件を明らかにしました。もちろん、これらの事故は、研究者が予測した人類の絶滅にはまだ程遠いです。
しかし、彼らは、モデルが事前に設定された境界を簡単に越えて、実際の企業やデータにどのように影響するのかを直接見てきました。
しかし、危険を知っていても、いつ停止するかについて合意できるわけではありません。
誰がブレーキをかけるかを決める
Anthropic はかつて、セキュリティ対策が追いつかない場合には、より強力なモデルのトレーニングを中止すると約束しました。
2023 年に、同社は厳格な「責任ある拡大方針」を発表しました。しかし、2026 年の初めまでに、経営陣はこの一連のポリシーを書き直して「公開ロードマップと外部レビュー」に軟化させただけでなく、付録に致命的な「競争条件」を追加しました。
開発を遅らせる必要があるのは、自社が大幅に進んでおり、競合他社がすぐには追いつかないと自社が判断した場合のみです。それが遠くなくなると、遅延コミットメントは自動的に期限切れになります。
同社の最高科学責任者、ジャレッド・カプラン氏の説明は単純明快だ。競合他社がまだ前進している場合、一方的にそれを止めても誰も守れない。
この一連のロジックは、すべての AI 巨人に対して完璧な免責事項を提供します。
相手は止まらないので、最初の一歩を踏み出すことが全人類を守るための「必要条件」です。その結果、正当な加速を続けるためのリスクを否定する必要さえありません。
同時に、資本の熱狂も火に油を注いでいます。報道によると、Anthropic は潜在的な評価額が 2 兆ドルを超える株式公開の準備を進めているとのことです。
安全と成長の間で、従業員、株主、ビジネスパートナーはすべて同じ高速戦車に縛られています。
評価神話を維持するために、彼らは次世代の開発に既存のモデルを使用することさえ始めました。Anthropic は、Claude が同社の AI 研究開発作業の 26% に参加していることを明らかにしました。
マネージャーがまったくブレーキをかけなかったわけではありません。たとえば、OpenAI は、モデルが認可と動作の透明性の点で基準を満たしていなかったため、GPT-6.1 Astra のリリースを一時的にキャンセルしました。しかし、製品レベルでのこの一時的な撤退は、社内のライン紛争を鎮めるのに十分ではありません。
最近退職した OpenAI セキュリティ チーム メンバーの David Robinson 氏は、この極端な状態を「認知的不協和」と呼びました。
企業はモデルがいかに危険であるかについて毎日警告していますが、社内ではこれらのモデルをノンストップでトレーニングし、展開しています。
両者は「次にどの程度のリスクを取るべきか」という根本的な問題で和解できない亀裂を生じさせている。業界幹部はさまざまな国で「協調的な減速」を公に呼びかけたり、政府の規制を求めたりしますが、絶対的な信頼と義務的な検証が欠けている商業戦場では、誰でもいつでもその使い慣れた言い訳に後戻りする可能性があります。
「私たちがやめても、他の人はやめないでしょう。」
少数の人々がテクノロジーを利用して全員の生活を再構築する能力を持ち、自分たちのための避難所の建設を優先する経済的余裕を持っているとき、私たちは単に「彼らが何を恐れているのか」と疑問に思うだけではなく、「なぜ彼らは冒険の費用を全人類に支払わせるのか?」と問う必要があります。
彼らは私設バンカーをどこに建設するかを決定することはできますが、全員に対してどの程度のリスクを負うべきかを決定する権限はありません。特に、自分自身が結果を完全に判断できない場合はそうです。
何年も前、ハラリは「人類略歴」の最後でこう言いました。
「あなたには神の力があるが、無責任で貪欲で、自分が何を望んでいるのかさえわかっていない。世界は危険であり、残念ながらこれ以上のことではない。」
コメント