Meta が GitHub Copilot に匹敵する、より強力な Code Llama 70B モデルをリリース

2023 年 8 月、Meta Company は、以前の Llama2 モデルに基づいて、プログラミング タスク用に特別に設計された大規模言語モデルである CodeLlama をリリースしました。本日、同社は「新しい、より強力なバージョン」、CodeLlama70B をリリースしました。

CodeLlama70B は、5,000 億バイトのコードと関連データでトレーニングされています。 100,000 フレーズのコンテキスト ウィンドウのおかげで、より長いコード シーケンスを処理および生成できます。

Meta氏によると、CodeLlama70Bはコード構造を理解するためにセルフアテンションと呼ばれる技術を使用しているという。テキストまたはフラグメントプロンプトに基づいてアルゴリズム、並べ替え、検索、その他の機能を実装でき、Python、C++、JavaScript、Java などの複数の言語に適しています。

この AI を活用したツールには、特定のタスク向けに微調整されたバリアントが含まれています。そのような亜種の 1 つが CodeLlama-70B-Instruct で、自然言語命令を理解するようにトレーニングされています。 CodeLlama-70B-Python と呼ばれる Python に重点を置いたバージョンもあります。 Meta によると、1,000 億の Python コード トークンに関する追加のトレーニングを通じて、「比類のない流暢さと正確さ」を備えた Python コードを生成します。

「コードの作成と編集は、今日の人工知能モデルの最も重要な用途の 1 つになっています」と Meta CEO の Mark Zuckerberg 氏は Facebook への投稿で書いています。 「AI モデルが他の分野の情報をより厳密かつ論理的に処理するには、コーディング能力も非常に重要であることがわかりました。」

CodeLlama70B は、以前の CodeLlama モデルと同じオープン ライセンスの下で無料でダウンロードできます。

https://ai.meta.com/resources/models-and-libraries/llama-downloads/

Metaによれば、このライセンスにより学術ユーザーと商用ユーザーがモデルを変更できるようになるという。

Microsoft 所有の GitHub は、2023 年 7 月に CopilotChat を開始しました。開発者はコードについて Copilot に質問したり、コードの特定の部分の説明を得たり、Copilot にコード内のエラーを修正してもらうこともできます。最近、Google は人工知能を活用したコード補完および生成ツールである DuetAI と GeminiPro も発表しました。