マックス プランク研究所の科学者たちは、ニューロモーフィック コンピューティングの物理プロセスを利用することで、よりエネルギー効率の高い人工知能のトレーニング方法を考案しました。この方法は従来のデジタル ニューラル ネットワークとは異なり、エネルギー消費を削減し、トレーニング効率を最適化できます。同チームは、人工知能システムの開発を大幅に前進させることを目的として、この技術を実証するための光学ニューロモーフィックコンピューターを開発している。
物理学に基づいた新しい自己学習マシンは、現在の人工ニューラル ネットワークに取って代わり、エネルギーを節約できる可能性があります。人工知能 (AI) は信じられないほど強力であるだけでなく、多くのエネルギーを必要とします。実行されるタスクが複雑になればなるほど、エネルギー消費も大きくなります。ドイツのエアランゲンにあるマックス・プランク光科学研究所の科学者ビクター・ロペス・パストールとフロリアン・マルカルトは、人工知能を訓練するためのより効率的な方法を開発した。彼らの手法は物理プロセスを活用しており、従来のデジタル人工ニューラル ネットワークとは異なります。
ChatGPT を強化する GPT-3 テクノロジーの開発を担当する企業である OpenAI は、この知識豊富で高度な人工知能チャットボットのトレーニングに必要なエネルギーを明らかにしていません。
ドイツの統計会社スタティスタによると、それには1000メガワット時が必要で、これはドイツの3人以上世帯200世帯の年間消費量にほぼ相当する。このエネルギー消費により、GPT-3 はデータセット内で「深い」という単語の後に「海」が続く可能性が高いのか、「学習」が続く可能性が高いのかを理解することはできましたが、いずれにしても、これらのフレーズのより深い意味を理解することはできませんでした。
ニューロモーフィック コンピューター上のニューラル ネットワーク
ここ数年、コンピュータ、特に人工知能アプリケーションのエネルギー消費を削減するために、一部の研究機関はまったく新しい概念、つまりコンピュータが将来どのようにデータを処理するかを研究しています。この概念はニューロモーフィック コンピューティングと呼ばれます。これは人工ニューラル ネットワークに似ているように聞こえますが、人工ニューラル ネットワークは従来のデジタル コンピューター上で実行されるため、実際には人工ニューラル ネットワークとはほとんど関係がありません。
これは、ソフトウェア、より正確にはアルゴリズムは脳の働きをモデルにしているが、デジタル コンピューターはハードウェアであることを意味します。これらは、プロセッサとメモリを区別しながら、ニューロン ネットワークの計算ステップを順番に実行します。
マックス・プランク光科学研究所所長でエアランゲン大学教授のフロリアン・マルカート氏は、「最大1テラバイトのデータを含む数千億のパラメータ（つまりシナプス）を使ってニューラルネットワークを訓練する場合、これら2つのコンポーネント間のデータ転送だけでも大量のエネルギーを消費する」と述べた。
もし人間の脳がシリコントランジスタを使用したコンピュータと同様のエネルギー効率で動作するとしたら、人間の脳はまったく異なるものとなり、進化の過程で競争力を発揮することは決してないかもしれません。過熱により故障する可能性が高くなります。
脳は、思考プロセスの多数のステップを順番にではなく並行して完了するという特徴があります。神経細胞、より正確にはシナプスは、プロセッサーであり、またメモリーでもあります。計算を実行するために電子の代わりに光を使用する光回路など、神経細胞のニューロモルフィックな対応物として世界中でさまざまなシステムが候補として検討されています。これらのコンポーネントは、スイッチとストレージ ユニットの両方として機能します。
自己学習物理マシンがシナプスを個別に最適化
Florian Marquardt は、マックス プランク光科学研究所の博士課程学生である Víctor López-Pastor とともに、ニューロモーフィック コンピューターの効率的なトレーニング方法を設計しました。同氏は次のように説明した。「私たちは自己学習物理マシンの概念を提案します。核となるアイデアは、物理プロセスの形式でトレーニングすることであり、マシンのパラメータはプロセス自体によって最適化されます。従来の人工ニューラル ネットワークをトレーニングする場合、何十億ものシナプス結合の強度を調整するために外部フィードバックが必要です。このフィードバックがなければ、トレーニングははるかに効率的です。自己学習物理マシンでの実装とトレーニング人工知能の実践は、エネルギーを節約するだけでなく、コンピューティングの節約にもなります」私たちの方法は、自己学習マシンの物理的なプロセスに関係なく機能し、特定のプロセスを知る必要さえありません。ただし、プロセスはいくつかの条件を満たしている必要があり、最も重要なことは、プロセスが可逆的であること、つまり、最小限のエネルギー損失で前進または後退できることです。」
「さらに、物理プロセスは非線形、つまり十分に複雑でなければなりません。入力データと結果の間の複雑な変換を実行できるのは非線形プロセスだけです。他のピンボールと衝突せずにプレート上を転がるピンボールは線形動作です。しかし、別のピンボールによって妨害されると、状況は非線形になります。」
光学ニューロモーフィックコンピュータの実用テスト
光学における可逆非線形プロセスの例もあります。実際、ビクトル・ロペス・パストルとフロリアン・マルカルトはすでに実験グループと協力して、光学ニューロモーフィック・コンピューターを開発しています。このマシンは、インタラクションの種類と強度を制御する適切なコンポーネントを使用して、重畳された光波の形で情報を処理します。研究者らは、自己学習する物理マシンの概念を実用化することを目指しています。
Florian Marquardt 氏は、「私たちは最初の自己学習物理マシンを 3 年以内に発売したいと考えています。その頃には、シナプスの数とニューラル ネットワークのトレーニング データの量は現在のレベルよりも大幅に増加しているでしょう。したがって、人々は従来のデジタル コンピューターに加えてニューラル ネットワークを実装し、訓練されたニューロモーフィック コンピューターに置き換えることにもっと興味を持つかもしれません。私たちは、自己学習物理マシンが人工知能のさらなる開発に使用される可能性が非常に高いと信じています。」と述べました。