ウルトラマン「PCにメモリを搭載するのは無駄すぎる、AIデータセンターに任せるのが一番」

要約:

「世界的なリソース割り当ての観点から見ると、不足している DRAM を各自のコンピュータに保存し、ほとんどの時間アイドル状態にしておくのは、『非常にひどい』取り決めです。メモリはクラウド データ センターに集中すべきです。」

以上です。

木曜日の YouTube チャンネル Cheeky Pint のインタビューで、OpenAI CEO の Sam Altman 氏は終始ビールを飲みながら、大規模な AI モデルの局所推論と、意図せず人気となった家庭用コンピューターのメモリ不足という広範な問題について、リラックスした雰囲気で語りました。

世界的な AI の波による現在のメモリ価格の高騰により、PC や携帯電話の価格が高騰しており、個人消費者にはすでに手の届かない価格になっていることがわかっています。同時に、大手メモリメーカーが生産能力を拡大するにはしばらく時間がかかるだろう。最先端のAI企業がメモリの大部分を食いつぶす一方で、パソコンのメモリを最大限に活用できるかどうかについて議論を始めている。

アルトマン氏は、人々が自分のコンピューター上でローカル人工知能を実行できるようになるだろうという仮説に言及しました。そのコンピューターは、すでに所有しているコンピューター、または AI 大型モデル技術の台頭により組み立てたいコンピューターである可能性があります。彼はそれはひどい考えだと思いました。

「世界的なリソース割り当ての観点から見ると、世界の限られた DRAM メモリを各自のコンピュータで使用率がわずか 5% のまま放置しておくことは、実際には非常に悪いことです。」

OpenAI の現在の主なビジネスは、大規模なデータセンターで実行されるクローズドソース モデルに基づいており、彼のビジネス モデルの擁護は AI コミュニティで議論を引き起こしました。

このことは、多くの人々を心配させる原因にもなりました。将来的には、私たちが独自のハードウェアやソフトウェアを所有することがさらに難しくなり、クラウドでインテリジェントなエージェントやコンピュータをレンタルすることしか考えられなくなるかもしれません。

通常の PC、携帯電話、AI アクセラレータ カードは異なるメモリを使用していますが、それらの生産は上流のウェーハ生産能力の一部をめぐって競合することになります。アルトマン氏はグローバルな DRAM リソース割り当てについて議論していました。メモリ容量をどこに使用するかを決定する資格があるのは誰かということになると、ほとんどの場合、当然、より大きな注文をするユーザーになります。

アルトマン氏の議論の一部は、データセンターの建設が減速しないという前提に基づいています。さらに、AI データセンターで 24 時間 365 日使用されるメモリは、スプレッドシート、Web ブラウジング、ゲーム、さらには時折ローカル AI に使用されるメモリよりも価値があるのではないかという仮説を立てました。

実際、このインタビューは非常に長かったです。アルトマン氏はまた、過去 2 週間で世界的なパニックを引き起こした PHP の脆弱性、トレーニング モデルのサンドボックス化、数学分野における AI 研究についても語りました。

彼が主に言ったことを見てください:

AI は脆弱性の波を爆発させています

PHP の超巨大な脆弱性に関して、アルトマン氏の判断は次のとおりです。大規模モデルの脆弱性発見能力は急速に向上し続けており、インターネット上のコード面は非常に巨大です。人々が AI を体系的に使用してすべてのコードをスキャンし始めると、「深刻な脆弱性が予想よりもはるかに大きい世界に陥ることになるでしょう」。同氏は、パッチ適用だけでは十分ではなく、「脆弱性がますますインテリジェントになる」世界に向けて、アーキテクチャを再構築し、ルーター、オペレーティングシステム、アプリケーション層をすべて再設計する必要があると考えている。 2 年前、「テクノロジー スタック全体を書き換える」というのは突飛な話のように思えましたが、今では新しいスタックを構築したいと考えているスタートアップ企業が存在します。

彼は業界としては珍しい自己批判を述べた。「なぜこのテクノロジーのあらゆる潜在的な下振れリスクがそれだけの価値があるのか​​を人々にうまく説明できていないと思います。」同氏は、AI業界の言い分は悪いセールストークであり、失業や制御不能、強力な規制の必要性などの未来を描きながら、ガンの治療とコスト削減を約束していると述べた。同氏は、「サンフランシスコの数平方マイルにいる人々がすべての意思決定を行うことはできない」という理由で、OpenAIが反復的な展開と機能のオーバーハングに固執していることを繰り返した。

このモデルに「最大限のセキュリティを備えた刑務所」を構築できるかどうか尋ねられたとき、ウルトラマンは悲観的な答えを返しました。サンドボックスはある程度までしか効果がなく、監視 (思考連鎖レビューや活性化監視を含む) はさらに強化することができますが、最終的には高度に信頼され、調整されている必要があります。

彼は、最も賢いセキュリティ研究者よりも 100 万倍賢く、人間がまだ理解していない新しい科学を発見できるモデルを前にして、そのサンドボックスを本当に信頼する勇気があるか、と修辞的に尋ねました。

彼は、群れがイナゴを連想させるため「エージェントの群れ」という言葉が嫌いであることを明らかにし、エージェントチーム（エージェントチーム）と呼ぶことを主張し、チーム間の相互牽制と均衡の性質は多元性によって堅牢性を実現するメカニズムに対応しており、進歩するに値する安全な方向であると信じています。

知的爆発と科学的発見の代償

アルトマン氏は曲線を概説しました。GPT-4 の時代には、単一の問題に 1 ドルの計算能力を効果的に投資するのは困難でした。思考の連鎖により、モデルは「一生懸命考える」ことができますが、エージェントのチーム全体を何万回も並列化できるようになりました。一般ユーザーと最先端ユーザーの間の使用状況の差は、常に拡大しています。

OpenAI 内でコンピューティング能力がどのように割り当てられるかについて、従業員は多くの自由を享受しているが、トークンを大量に消費しても決して報われることはないと彼は述べました。 「実際、トークンランキングで上位に入るのは少し恥ずかしいことであり、それが昇進の理由になるわけではありません。」彼はナビエ・ストークス方程式の証明を例に挙げました。1 回の証明に約 1,000 万ドルの費用がかかり、当時エージェント チームの拡大法則について誰も知らなかったため、「1 週間制御不能」になりました。しかし、よりスマートなモデルと手法を使用すれば、1 年で 1/100 のコストでやり直せると彼は予想しています。

彼はまた、珍しい感情を表しました。当時の状況は本当に驚くべきものでした。新しいモデルが社内で発表された週末に、誰もが最も困難な問題をすべてこのモデルに投げ込み、それを 1 つずつ解決していきました。人々はこのモデルがこれを行うとはまったく予想していませんでした。多くの人々の学問的キャリアにおいて最も困難な科学研究の問題が、このモデルによって次々と解決され、さまざまな分野をカバーしていることを誰もが目撃しました。そのシーンはただただ素晴らしかったです。

「興奮しすぎてまったく眠れず、2 晩ほとんど徹夜しました。後に発表した結果の多くは、実際にその時に解決した問題でした。」

その時、ウルトラマンは非常に興奮し、幸せを感じましたが、同時に予想外の悲しみ、憂鬱、そして「時代が終わってしまう」という感覚も感じました。それは郷愁だけではなく、「朝には真実を知り、夕方には死ぬ」人間の科学者に対するある種の共感もある。同氏は、人間には基本的な知識が必要だが、産業界はこれらの分野の専門家に解決策を提供する義務があると主張する。

超知能について話すのは時期尚早ですが、ウルトラマンは、何兆もの小さな超人の方が 1 兆の IQ よりも優れていると信じています。

「IQ 1 兆の AI が 1 台社会に参加するよりも、やや超人的な知能を持つ 1 兆台の AI が社会に参加する方が直感的に良いと思います。」

「直感的には、IQ を備えた 1 兆個の AI よりも、少し超人的な知能を備えた 1 兆個の AI が社会に参加するほうがいいと思います。」

彼の主張は、社会の強い堅牢性は多数の構成員の抑制と均衡と協力によってもたらされるというものです。 「単一脳」の世界にはこのような回復力はありません。しかし、これは自動的に起こるものではなく、積極的に推進する必要があると強調した。

AI 時代には市場規制は機能しなくなる?

世界的なメモリ不足に関して、アルトマン氏は OpenAI のレイアウトを紹介しました。自社開発チップ (ワットあたりのインテリジェント パフォーマンスを向上させるため)、自社構築データ センター、ロボット プロジェクト、そして AI 制御ロボットを使用してウェーハ工場の運営、タービンとソーラー パネルの建設、データ センターの建設を行う「自己複製データ センター」というより大胆な概念です。 「我々はこれをコントロールできている」と彼は言った。

なぜ「市場自主規制」が長い間実現されなかったのかについて、彼は現在の進捗状況は非常に悪いと考えており、メモリメーカーの行動論理を次のように述べています。この業界は長い間、200億ドルを投資し、19億の設備投資を稼ぐ苦いビジネスでした。歴史上、過剰な工場建設が原因で多くの巨大企業が倒産しかけた。現在、各企業は年間約 1,000 億米ドルのフリー キャッシュ フローを稼ぐことができますが、痛ましい記憶により、生産拡大には非常に慎重になっています。このことから、彼は「見えざる手はもう動かなくなった」と断言します。

同氏は、チップ業界における 2 種類の機能を区別しました。リソグラフィーは「地球上でその方法を知っているのは 1 社だけのようです」が、チップ設計 (最終的に工場に送られるファイル) はすでに AI にとって最適な場所です。

アルトマン氏は、再帰的自己改善 (RSI) の真のレベルについて、現在のモデルは「計算効率の 5% 向上を見つける」などのタスクを完了できるが、トランスフォーマーのレベルで AI に新しいアーキテクチャを発見させる方法は誰も知らないと述べました。欠けているのは、よりスマートなモデルです。同氏は、単一モデルのIQを一定期間制限することに社会が同意する必要があるかもしれないとさえ予測した。 「将来的に進歩が不十分な場合、それはAIの研究能力によるものではなく、この決定によるものです。」

彼はデフレに対する信念を示しました。

現在の主要な AI コンピューティング能力の各 GW の 5 年間の総所有コストは約 700 億米ドルです。 200億まで削減できれば理想的です。同時に、モデルの性能を毎年さらに 10 倍向上させる必要があります。これを達成するための道は、エネルギーを安くし、「砂から出力トークンまで」の間に積み上げられた粗利益を圧縮することです。

企業のトークン予算に対する不安に関しては、現在最も一般的な問題は、AI を使いすぎることよりも、十分に使用していないことであると彼は考えています。

個人情報に価格を設定するにはどうすればよいですか?

最近の人気のパーソナル インテリジェント製品 (Muse など) に関して、ウルトラマンの現在の判断は、「Macintosh の瞬間はまだ到来していない」です。人々はこれらの製品を気に入っていますが、「これなしの生活は考えられない」ほどではありません。勝者は、見た目は現在の製品と似ていますが、信頼性が高く、より複雑なタスクを処理できる「問題なく動作する」製品になります。コンピュータ利用のいたちごっこは、最終的には「自分に代わってAIに自分のコンピュータを操作させる権利がある」という点に収束すると同氏は信じている。

インテリジェント エージェントの商品化方法について、アルトマン氏は、企業は自社製品の AI ポップアップと HTML にこだわり、顧客関係を失うことを心配しているが、消費者はメインのチャット アプリケーションですべてを AI に任せたいと考えていると考えています。彼は、本当の堀は HTML ではなく、ブランド、選択、フルフィルメントのネットワークから来ると信じています。価格が高くても10回中10回はAmazon Payを選ぶと積極的に明かした。同氏はAmazonのフルフィルメントネットワークを賞賛し、ChatGPT内の協力プラットフォームが十分ではないと認めた。同氏はまた、すべてのWebフォームを「偽物の作品」と呼び、現在の状況をApp Store時代と比較した。

まさにこのため、OpenAI は価格設定の際に AWS のタスクに基づく価格設定をほぼ模倣し、トークン課金を完全に放棄しました。しかし、「何にお金を払っているのか知りたい」という顧客からの強い反対に遭いました。それ以上であってもトークンなどのわかりやすい単位である必要があります。