NVIDIAのライバルであるHailoは火曜日、第2世代AIアクセラレータチップの一般提供を発表し、この製品は極めて低い消費電力で「真の生成AIパフォーマンスをエッジにもたらす」この種の製品としては初めてだと述べた。イスラエルの人工知能チップ新興企業Hailo社によると、Hailo-10Hチップは消費電力がわずか2.5ワットで、4ビット整数(INT4)の演算性能で毎秒40兆演算(TOPS)、8ビット整数(INT8)の演算性能で毎秒20兆演算(TOPS)を達成できるという。

比較すると、Nvidia の Jetson Orin Nano チップの INT8 パフォーマンスは 67 テラフロップスで最高に達し、INT4 のパフォーマンスの 2 倍ですが、消費電力範囲は 7 ～ 25 ワットです。

同社によると、Hailo-10Hは消費者、企業、自動車市場のエッジデバイス向けに設計されており、「高効率、高い費用対効果、堅牢なソフトウェアエコシステム」を兼ね備えており、月間1万人以上のユーザーが使用する「成熟した広く採用されているソフトウェアスタック」を搭載しているという。

Hailo-10H を採用する企業には、Hewlett-Packard が含まれます。Hewlett-Packard は、このチップを HP AI Accelerator M.2 カードの基礎として使用しており、HP のポイントツーポイント販売サービスや HP ワークステーション、ビジネス PC と「シームレスに」統合します。

同社によれば、Hailo-10H により、自然言語による人間とコンピューターの対話、視覚認識、マルチモーダル人工知能などの高度なユースケースが、エッジ環境に特有の電力とコストの制約内でシームレスに動作できるようになります。 」

同社は、Hailo が実施したパフォーマンスベンチマークで、このチップは「20 億のさまざまなパラメーターの言語および視覚言語モデルにわたって、最初のトークンの遅延が 1 秒未満、1 秒あたり 10 トークンを超える」ことを達成したと述べた。単語要素」。

Hailo は、NVIDIA に挑戦する AI チップ スタートアップの 1 つであり、そのパートナーは HP、Dell、Advantech などの OEM から、J-Squared Technologies や Kaga Fei America などの販売代理店まで多岐にわたります。