要約:
本日、Tencent Hunyuan の最新言語モデル Hy4 フラッシュがリリースされました。モデルのパラメータ総量は 224B (エングラム パラメータ 64B を含む) で、アクティベーション パラメータはわずか 12B で、マルチモダリティと 1M コンテキスト長をサポートします。 Hy4 フラッシュは、これまでで最もコスト効率の高い Hy モデルです。入力は 100 万トークンあたり 0.5 元、出力は 2 元で、キャッシュにヒットするときに必要なコストはわずか 0.02 元です。価格はHy4に比べて大幅に安いです。

レポートによると、インテリジェンスのレベルと実用性を考慮しながら究極の費用対効果を達成するために、Hunyuan チームは一連の作業を行ったとのことです。
トレーニング前の段階で、Hy4 フラッシュはハイブリッド アテンション、LatentMoE、Engram などのアーキテクチャ機能を追加します。 KV キャッシュ サイズは Hy3 のわずか 1/24、Hy4 の 1/6 であり、多数のスケーリング ラダー実験により、その効果が期待を満たすことが確認されています。
トレーニング後の段階では、自己蒸留 Hy4 を通じて強力な包括的知能レベルが取得され、その後、強化学習を通じてエンドツーエンドのタスク出力の長さが 50% 短縮されます。
評価段階では、日常業務からかけ離れた公開リストのスコアではなく、日常業務の製品効果、シングルラウンドの出力の長さ、エンドツーエンド時間に焦点を当てるために、一般的な WorkBuddy タスクに基づく内部評価セット WorkIndex が構築され、人間のレビューと組み合わせられました。
推論段階では、メガカーネル、4 ビット量子化、dflash などの極端な最適化手段と組み合わせることで、Hy4 フラッシュのデコード速度は 150 tps を超え、低コストで大規模に導入および運用できます。
最終的に、Hy4 フラッシュは、全体的な効果の点でパラメータが大きい Hy4 プレビューよりわずかに優れていますが (合計パラメータは 770B、アクティベーション パラメータは 49B)、コストは大幅に低くなります。内部評価セット WorkIndex (PPT の作成と変更、ドキュメントの編集、テーブルの修復、オーディオとビデオの処理、視覚的理解などの一般的な WorkBuddy タスクをカバー) に基づく包括的な計算によると、Hy4 フラッシュの単一タスクのコストは、Hy4 プレビューのわずか 1/13、Hy4 の 1/20、DeepSeek-V4.1-Flash-1027 の 1/8 (最大レベル、混雑時の価格) です。
Hy4 フラッシュは Tencent Cloud TokenHub、WorkBuddy、Yuanbao、Enterprise WeChat、QQ、ima、Marvis などの製品でリリースされており、まもなく OpenRouter に接続される予定であると報告されています。 11 月 30 日までに、ユーザーは WorkBuddy を期間限定で無料で使用でき、Tencent Cloud TokenHub API を期間限定で 50% 割引で使用できます。
コメント