ウォール・ストリート・ジャーナルによると、AIスタートアップのアンスロピックは、現在のAIシステムの進歩が速すぎ、間もなく人間の介入なしで自己改善できるようになる可能性があり、大きな社会的リスクを引き起こす可能性があるとして、世界トップクラスのAI研究所に対し、研究開発のペースを落とすことを検討するよう呼び掛けた。アンスロピックは木曜日のブログ投稿で、世界的なAI開発のペースを遅らせることができれば「おそらく良いことだろう」と述べた。この記事では、Anthropic の内部データも公開されており、最先端の AI モデルの機能がいかに急速に向上しているかを示しています。
この記事は、Anthropic の内部調査およびポリシーの責任者によって書かれました。それは次のように述べています。モデル開発は、AIシステムが人間の介入なしに自らを改善できる「再帰的自己改善」の方向に進んでいるように見える。AI業界の一部は、この閾値を潜在的な危険と巨大な社会不安の兆候と見なしています。
著者のマリーナ・ファバロ氏とジャック・クラーク氏は、「社会構造と調整の研究が技術の進歩に追いつくことができるように、世界が最先端のAIの開発を減速または一時停止することを選択できれば良いことだと信じている」と書いている。この記事は、AIの開発をどのように遅らせるかについての世界的な合意と、競合他社が合意を遵守しているかどうかを検証する検証メカニズムを提案している。
文章警告称，递归式自我改进目前尚未出现，也并非必然会发生，“但它的到来时间，可能比大多数机构做好准备的时间更早”。
アントロピックのブログ
Anthropic最近完成了一轮融资，估值接近1万亿美元，并已提交机密文件，启动了股票公开上市的流程。该公司近来在与OpenAI的激烈AI霸主竞争中崭露头角，成为领跑者。OpenAI预计也将很快提交IPO相关文件。
同社は創業以来AIの安全性を強調してきたが、その政策提案が実際には競合他社のAI研究開発の進歩を遅らせようとする試みであると考え、長年にわたって外部から批判されてきた。ベンチャーキャピタリストでトランプ大統領の非公式顧問であるデイビッド・サックス氏は、アンスロピックの指導部が規制を利用して競合他社を抑制する「規制獲得アジェンダ」を追求していると非難した。
最近のポッドキャストでサックス氏は、ワシントンにおけるこの「規制獲得の議題」は、最終的にいわゆるオープンソースモデルの禁止につながる可能性があると述べた。これらのモデルは通常、安価であり、企業や機関が独自に導入および開発することが容易です。
また、Anthropic が自社ツールの危険な可能性について警告したのは、マーケティング戦略とみなされる可能性もあると考える人もいます。これらの懐疑論者は、コード内の脆弱性や問題を発見できる強力な「Mythos」サイバーセキュリティモデルのリリースを制限するというAnthropicの決定は、製品の機能を宣伝するための巧妙な宣伝戦略であると指摘している。
これに関して、Anthropic の経営陣は、同社は AI のセキュリティ問題を真剣に受け止めており、関連するリスクについての社会的な議論を促進することに尽力していると述べました。