YouTuber の DaveLee は、ユーザーが最大 512GB のメモリを搭載したマシンを条件として、M3Ultra チップを搭載した Apple の新しい MacStudio が、DeepSeekR1AI モデルの巨大バージョンをローカルで効率的に実行できる方法をデモンストレーションしました。

Lee氏のテストによると、6,710億パラメータのAIモデルはAppleのハイエンドワークステーションで直接実行できるが、大量のメモリリソースが必要で、404GBのストレージスペースを消費し、ターミナルコマンドを通じて448GBの仮想メモリを手動で割り当てる必要がある。

M3Ultra のユニファイド メモリ アーキテクチャは、このパフォーマンスを達成するための鍵であり、システムが DeepSeekR1 の 4 ビット量子化バージョンを効率的に処理できるようにします。量子化により精度はわずかに低下しますが、すべてのパラメータが維持され、1 秒あたり約 17 ～ 18 マークが得られます。これは、多くの実用的なアプリケーションには十分です。

最も印象的なのは、MacStudio が 200 ワット未満の電力消費でこのパフォーマンスを達成していることです。従来の PC ハードウェアで同等のパフォーマンスを達成するには、複数の GPU が必要となり、約 10 倍の電力を消費します。

このような高度な AI モデルをローカルで実行できる機能は、情報をクラウド サービスに送信するとセキュリティ上の懸念が生じる医療データ分析などの機密アプリケーションにプライバシー上の利点をもたらします。

ただし、そのようなパフォーマンスは決して安くはありません。Mac Studio の価格は、M3 Ultra と 512 GB のメモリを搭載して約 10,000 ドルから始まります。 M3UltraMacStudioのパフォーマンスを最大化した場合、16TB SSDストレージと32コアCPU、80コアGPU、32コアニューラルエンジンを搭載したApple M3Ultraチップの価格は14,099ドルにもなります。

Appleによると、M3 Ultraは、「UltraFusion」テクノロジーを使用して2つのM3 Maxチップを融合するという同社の戦略のおかげで、同社がこれまでにリリースした中で最速のMacチップであるという。これにより、チップのスペックは M3Max の 2 倍になります。