OpenAI の目標は、それ自体を最適化できる AI ツールを開発することです。現在、同社はそれに伴うリスクに備えている。過去 6 か月間の OpenAI と Anthropic によるプログラミング ツールの大幅な進歩を受けて、いわゆる「再帰的自己改善」のための AI システムの可能性が AI 業界のリーダーたちの焦点となっています。

デミス・ハサビス氏は今週、人類は現在「特異点」、つまりAIが独自に発展し始め、人間の知性を超え始める瞬間の足元に立っていると述べた。

今年上場を予定しているOpenAIは最近、異例の求人を掲載した。同社は「AIがより良いバージョンのAIを自ら訓練できるようになったとき」の結果を研究するセキュリティ研究者を探しているのだ。

この求人は今月、OpenAI の Preparedness セキュリティ チームに掲載されました。このポジションの年収総額は25万～38万ユーロで、採用目標は「再帰的な自己改善の準備をサポートする経験豊富な技術専門家」だ。

採用情報には次のように書かれています。

「この作品は、現在は存在しないが将来発生する可能性のある問題について考えることに基づいています。」

「したがって、このポジションでは、慎重かつ戦略的な考え方を持つことが特に重要です。」

トップクラスの AI ラボが「自己学習」モデルの開発に躍起になっている

最近、OpenAI や Anthropic などの研究所は、モデルの機能を驚くべき速度で改善し続けており、その改善は解決できる問題の複雑さに反映されています。

モデルの機能を研究する研究所である METR の研究者たちは、今年 3 月に次のように書いています。AI モデルが完了できるタスクの長さは、約 7 か月ごとに 2 倍になっています。これらのモデルは、以前は人間が完了するまでに多大な時間を要していたであろうタスクを、ますます引き受けることができるようになってきています。

彼らは、人間のプログラマーが数日、場合によっては数週間かかるソフトウェア開発作業の「かなりの部分」をAIエージェントが担うことができると結論づけた。

OpenAI はこのビジョンを積極的に推進しており、Codex プログラミング ツールを企業に販売することが重要な収益源となっています。

同社はまた、自社の研究作業を自動化したいと考えている。 CEOのサム・アルトマン氏は昨年10月、同社の目標は、今年9月までに数十万個のチップ上で「自動化されたAI研究インターン」を稼働させることだと述べた。 2028年3月までに「真の自動AI研究者」を実現する。

アルトマン氏はXについて「我々がこの目標を達成できない可能性は十分にある。しかし、潜在的な影響が非常に大きいことを考えると、この問題をオープンかつ透明性をもって議論することが公共の利益になると信じている」と書いた。

今年 4 月、Anthropic は、AI モデルを使用してより強力な AI モデルを監視するという研究結果を発表しました。結果は有望ですが、明らかな限界があります。

今年5月、Anthropicの共同創設者で政策ディレクターのジャック・クラーク氏は、2028年末までに「人間の参加なしでAIの研究開発」が達成される確率は約60％であると確信していると述べた。

OpenAIは「自己改善型AI」を準備中

AI モデルが自己訓練できれば、SF のようなディストピアが出現する可能性があります。AI の能力は急速に成長し、制御を逃れ、広範な危害を引き起こす可能性があります。これは、AI 安全運動の長年の懸念です。

エリザベス・バーンズ氏は金曜日、自身の見解として、「いかなる『合理的』文明も、AI開発は大幅に遅く、より慎重なやり方で進むだろう」と書いた。

OpenAI の採用情報では、同社が「AI モデルが急速に自己改善できる」世界に向けてどのように準備を進めているかも明らかになりました。

求人情報には、研究者が「データポイズニング」攻撃（操作されたトレーニングデータによってAIモデルを破壊する行為）からOpenAIモデルを保護することに注力する可能性があると記載されている。

従業員は、モデルの思考プロセスを説明するためのツールを開発したり、これらのモデルの安全性と潜在的な危険性を理解するために実験を実施したりすることもあります。

求人情報には、研究者がAIプログラミングツールの使用状況の測定など、「技術職における自動化の進捗状況を追跡する」ことを求められる可能性があるとも記載されている。

OpenAI の Preparedness チームは、AI が深刻な危害を引き起こすのを防ぐ責任があります。チームのその他の役割には、サイバーセキュリティ、生物学的および化学的リスク、および「エージェント AI」によってもたらされる脅威を評価するための自動化されたレッド チーム テストが含まれます。

準備チームからの求人情報には次のように書かれています。

「これは緊急かつペースの速い仕事であり、その影響は会社と社会全体に波及するでしょう。」