Microsoft は、Copilot (旧名 Bing チャット ツール) のような生成 AI サービスの作成を支援するために、OpenAI およびその GPT 大規模言語モデルと提携している可能性があります。ただし、同社は独自の言語モデルも開発中です。今週、Microsoft Research は、Orca 言語の 2 番目のバージョンである Orca2 のリリースを発表しました。
Microsoftはブログ投稿で、Orca2は小規模LM向けに設計されているが、LLMなどの複雑な質問に答えるためにも使用できると述べた。 Orca2 には 2 つのサイズ (70 億パラメータと 130 億パラメータ) があり、その一部には Llama2LLM を使用して構築されています。Llama2LLM は、Microsoft が今年初めに Meta の立ち上げを支援したものです。同社は、「オーダーメイドの高品質合成データに基づいて」Llama2ベースのモデルを微調整した。
Microsoft は、これにより Orca2 モデルは問題解決において他の言語モデルに匹敵する「5 ～ 10 倍の規模」になると述べています。
Orca2 は、拡張された高度にカスタマイズされた合成データセットを使用してトレーニングされます。これらのトレーニング データの生成により、Orca2 に、ステップバイステップの処理、呼び出しとその後の生成、呼び出し推論生成、抽出生成、直接応答などのさまざまな推論テクニックが学習され、また、さまざまなタスクに対してさまざまな解決戦略を選択することも学習されます。
Orca2 モデルは、Llama2 や WizardLM などの大規模な言語モデルを使用して一連のベンチマーク テストを実施しました。試験内容は「言語理解、常識推論、多段階推論、数学的問題解決、読解」など。
Microsoft の公式ブログでは次のように述べられています: 私たちの予備テストの結果は、Orca2 のパフォーマンスが同様のサイズのモデルのパフォーマンスを大幅に上回っていることを示しています。また、少なくとも 10 倍大きいモデルと同等かそれ以上のパフォーマンス レベルを達成し、より小型のモデルに優れた推論機能を装備できる可能性を実証しました。
MicrosoftはOrca2には限界があることを認めているが、これまでのテストでは「将来の進歩の可能性」が示されている。 Microsoft は Orca2 をオープン ソース プロジェクトとしてリリースし、他の人が開発できるようにする予定です。