NVIDIA Researchは本日、OpenAIのGPT-4を搭載し、ロボットに複雑なスキルを自律的に教えることができる「Eureka」と呼ばれる新しい人工知能エージェントを開発したと発表した。
購入ページにアクセスしてください:
JD.com NVIDIA シリーズ製品概要
同社はブログ投稿で、独自の報酬アルゴリズムを作成できるEurekaは、人間のように素早くペンを回すスキルを実行できるようにロボットハンドを訓練した最初の製品であると述べた。エウレカはまた、引き出しやキャビネットを開ける、ボールを投げたりキャッチしたり、ハサミを操作したりするなど、ロボットに30近くのタスクを教えた。
NVIDIA の人工知能研究担当シニア ディレクターであり、Eureka 論文の著者である Anima Anandkumar 氏はブログ投稿で、「強化学習は過去 10 年間に目覚ましい勝利を収めてきましたが、報酬の設計など、試行錯誤の過程が続くなど、多くの課題が残っています」とブログ投稿で述べています。 「Eureka は、生成学習手法と強化学習手法を統合して困難なタスクを解決する新しいアルゴリズムを開発する第一歩です。」
NVIDIA Research は、強化学習研究用の物理シミュレーション リファレンス アプリケーションである NVIDIA AIsaacGym を使用して実験を行うための、Eureka 人工知能アルゴリズム ライブラリもリリースしました。 IsaacGym は、OpenUSD フレームワークに基づいて 3D ツールとアプリケーションを構築するための開発プラットフォームである NVIDIA Omniverse 上に構築されています。
今年 4 月には Auto-GPT、BabyAGI、AgentGPT などの自律型人工知能エージェントが台頭するなど、人工知能エージェントの熱狂は何か月も続いています。
NVIDIA Research による現在の研究は、GPT-4 を使用して構築され、Minecraft を自律的にプレイできる人工知能エージェントである Voyager を含む、以前の研究に基づいて構築されています。今週、ニューヨーク タイムズは、チャットボットをオンライン エージェントに変えることに関する記事を掲載しました。ブリティッシュコロンビア大学のコンピューターサイエンス教授で、OpenAIの元研究者でもあるジェフ・クルーン氏は、「これは数兆ドルの収益をもたらす可能性のある巨大なビジネスチャンスだ。これは大きな上向き効果をもたらし、社会に多大な影響を与える」と述べた。
「Eureka: 大規模言語モデルのエンコードによる人間レベルの報酬設計」と題された新しい研究論文の中で、著者らは、「Eureka は、GPT-4 などの最先端の LLM の並外れたゼロポイント生成、コード作成、およびコンテキスト改善機能を活用して、報酬コードを進化させている」と述べています。
結果として得られる報酬は、強化学習を通じて複雑なスキルを習得するために使用できます。 「タスク固有のプロンプトや事前定義された報酬テンプレートが存在しない場合、Eureka によって生成された報酬関数は、人間が設計したエキスパートの報酬を上回ります。10 の異なるロボット形態を含む 29 のオープンソース RL 環境のセットにおいて、Eureka はタスクの 83% で人間のエキスパートを上回り、平均で正規化された改善率は 52% でした。」
「Eureka は、大規模な言語モデルと NVIDIA の GPU アクセラレーション シミュレーション テクノロジを独自に組み合わせたものです」と、NVIDIA の上級研究員であり、このプロジェクトの貢献者でもある Jim Fan 氏はブログ投稿で述べています。 「私たちは、Eureka がロボットの器用な制御を可能にし、物理的にリアルなアニメーションを作成する新しい方法をアーティストに提供すると信じています。」