Meta は今週初め、クラウドソーシングのベンチマーク LMArena で高スコアを達成するために、Llama4Maverick モデルの未リリース実験版を使用したことで問題を起こしました。この事件により、LMArenaのメンテナーが謝罪した、ポリシーを変更し、スコアリングにオリジナルの未変更の Maverick を使用しました。結局のところ、競争力はそれほど高くありません。

金曜日の時点で、未修正の Maverick モデル「Llama-4-Maverick-17B-128E-Instruct」は、OpenAI の GPT-4o、Anthropic の Claude3.5Sonnet、Google の Gemini1.5Pro などのモデルよりもランクが低くなっていました。これらのモデルの多くは数か月前に発売されたものでもあります。

なぜパフォーマンスが悪いのか？ Meta は土曜日に公開されたチャートの中で、実験的な Maverick モデルである Llama-4-Maverick-03-26-Experimental が「会話の性質に合わせて最適化されている」と説明しています。 LMArena プラットフォームでは人間の評価者が個々のモデルの出力を比較し、どのモデルを好むかを選択する必要があるため、これらの最適化は明らかにうまく機能します。

さまざまな理由から、LMArena は AI モデルのパフォーマンスを測定するための最も信頼できる指標ではありませんでした。ただし、モデルをベンチマークに合わせて調整すると、誤解を招くだけでなく、開発者がさまざまな環境でモデルがどのように動作するかを正確に予測することも困難になります。

メタの広報担当者は声明で、メタは「あらゆるタイプのカスタムバリエーション」を試したと述べた。

「『Llama-4-Maverick-03-26-Experimental』は、LMArena でテストし、良好なパフォーマンスを示したチャットに最適化されたバージョンです」と広報担当者は述べました。 「私たちは現在、オープンソースバージョンをリリースしており、開発者が独自のユースケースに合わせて Llama4 をどのようにカスタマイズするかを観察する予定です。私たちは最終結果を見ることを非常に楽しみにしており、継続的なフィードバックを楽しみにしています。」