要約:
Apple は、Apple Silicon チップを搭載した Mac コンピュータをプライベート AI 推論サーバーに変えることを目的とした Harbor と呼ばれる新しいアプリケーションを開発しています。従来のローカル AI ソフトウェアとは異なり、Harbor は 1 台の Mac 上で大規模な言語モデルを実行できるだけでなく、Thunderbolt 5 インターフェイスを介して複数の Mac を接続し、さまざまなデバイスのユニファイド メモリをより大きなコンピューティング リソース プールに統合することで、1 台のコンピュータでは単独では対応できない AI モデルを実行できます。
11 月 10 日の MacRumors の報道によると、このアプリケーションは現在 Apple 子会社の Claris によってテストされており、まだ正式には公開されていません。 Claris の最も有名な製品はエンタープライズ ユーザー向けの FileMaker データベース プラットフォームであるため、Harbor は主に、将来的に機密データを扱う必要がある企業、開発者、専門ユーザーをターゲットにする可能性があります。
Harbor の中核的な位置付けは、ユーザーがクラウド サーバーに依存せずにオープン ウェイト人工知能モデルを Mac コンピューターに展開できるようにすることです。現在公開されている製品紹介によれば、すべてのAI推論プロセスはローカルハードウェア上で完了でき、ユーザーが提出した文書や質問などのデータを外部のクラウドサービスにアップロードする必要はない。
これは企業ユーザーにとって特に重要です。多くの企業は、大規模な言語モデルを使用して内部文書の分析、コードの作成、ビジネス情報の処理を行いたいと考えていますが、顧客データ、財務情報、ビジネス秘密をサードパーティの AI サービス プロバイダーに送信することには消極的です。 Harbor は、企業が自社の Mac ハードウェアを直接使用して AI モデルを実行できるようにすることで、ローカル展開プロセスを簡素化しようとしています。
このアプリケーションの最も注目すべき機能は、Thunderbolt 5 インターフェイスを介して複数の Mac で構成されるコンピューティング クラスターの確立をサポートしていることです。
Apple は、macOS Tahoe 26.2 に Thunderbolt 5 に基づくリモート ダイレクト メモリ アクセス (RDMA) サポートを追加しました。このテクノロジーを使用すると、相互に接続された Mac は、低い通信オーバーヘッドで他のデバイスが提供するメモリ リソースにアクセスできるようになり、分散 AI 推論のための条件が作成されます。
たとえば、64 GB のユニファイド メモリを搭載した Mac では、パラメータ サイズが大きい特定の言語モデルを独立して読み込むことができない場合があります。ただし、十分なメモリを備えた複数の Mac が接続されている場合、Harbor はこれらのデバイスのメモリとコンピューティング能力の使用を調整して、単一デバイスの容量を超えるモデルを実行できます。
ただし、この種のメモリ プーリングは、複数の Mac のメモリが、ハードウェア レベルでローカル マシンの統合メモリと完全に同等のストレージ領域になることを意味するものではありません。クロスデバイス アクセスでは、依然として Thunderbolt インターフェイスを介してデータを送信する必要がありますが、その遅延と帯域幅はチップ内のユニファイド メモリ アーキテクチャとは異なります。したがって、実際のパフォーマンスは、モデルがさまざまなデバイスにどのように分散されるか、およびシステムがコンピューティング タスクをどのように調整するかによって決まります。
大規模なモデルの実行に加えて、マルチマシン クラスターでは同時処理能力も向上します。 AI サービスを複数の従業員に同時に提供する必要がある企業の場合、単一の高構成ワークステーションに完全に依存することなく、複数の Mac で推論リクエストを共有できます。
Harbor は、ローカル AI 導入における長年の複雑な構成問題の解決も試みています。
現在、ユーザーは LM Studio や Ollama などのツールを使用して Mac 上でオープンウェイト モデルを実行できますが、複数のコンピューターをクラスターに接続する場合は、通常、追加のソフトウェアをインストールし、ネットワークを構成し、モデルのシャーディングを管理し、異なるデバイス間の通信の問題を解決する必要があります。
公開された機能説明によると、Harbor は Thunderbolt 5 経由で接続された Mac デバイスを自動的に識別し、クラスターの確立を支援します。ユーザーはデバイスを接続してアプリケーションを起動するだけで、システムが必要な設定を自動的に完了します。コマンド ラインを使用したり、専門的なサーバー管理の経験を持ったりする必要はありません。
モデル管理の観点から、Harbor はグラフィカル操作インターフェイスも提供しており、ユーザーは無差別重量モデルを直接参照、ダウンロード、ロードできます。アプリケーションはモデル ファイルの管理と実行構成を処理するため、ユーザーは実際の作業に集中できます。
この設計は、LM Studio の使いやすさとマルチマシンの分散推論機能を組み合わせたものと同等です。複雑な AI インフラストラクチャに慣れていないユーザーにとって、最終製品がこれらの機能を実現できれば、大規模な言語モデルのローカル展開の敷居は大幅に下がります。
ただし、Harbor は、複数の Mac を接続して AI モデルを実行しようとした最初のプロジェクトではありません。以前、複数のデバイスを使用して AI 推論タスクを共同実行できる Exo と呼ばれるオープンソース ツールが登場しました。今回Appleが開発したHarborのより重要な違いは、macOSの基盤機能との統合と、一般のエンタープライズユーザーにとってより簡素化された操作体験の提供だろう。
現在、Harbor はまだ初期テスト段階にあります。以前、このアプリは App Store に一時的に掲載されましたが、その後、関連ページが削除されました。 Appleはまだ、この製品がいつリリースされるか、あるいは最終的に無料で利用できるようになるかどうかを正式に発表していない。
Harbor の早期アクセス アプリケーション ページには企業名が必要であり、Apple がすべての Mac ユーザーがすぐにダウンロードできる一般的なツールとしてではなく、最初にエンタープライズ市場向けに製品を発売する可能性があることをさらに示唆しています。
ハードウェアの観点から見ると、このアプリケーションは、高メモリ容量を備えた Mac コンピュータのアプリケーション シナリオをさらに拡張する可能性があります。 Apple のユニファイド メモリ アーキテクチャにより、CPU と GPU が同じメモリ プールを共有できるため、大規模な言語モデルを実行する場合、一部の開発者はローカル AI を展開するために、大量のユニファイド メモリを搭載した Mac Studio および Mac mini を選択するようになりました。
Harbor で複数の Mac を便利に一緒に実行できるようになれば、企業は、より高構成で高価な独立したワークステーションを毎回購入する必要がなく、ニーズに応じて機器を徐々に追加できます。
ただし、Harbor によって現在開示されている主な機能は AI 推論であり、大規模モデルの完全なトレーニングではないことに注意する必要があります。推論には主にトレーニングされたモデルのロードと答えの生成が含まれますが、トレーニングには多くの追加計算、勾配同期、パラメーター更新操作が必要です。ハードウェアと通信システムの要件には明らかな違いがあります。
このテクノロジーは、任意の 2 台の Mac で高性能 AI クラスターを直接形成できるという意味ではありません。既存の製品紹介によると、マルチマシンのメモリ プーリング機能は Thunderbolt 5 に依存しているため、この接続方法を使用できるのは互換性のあるインターフェイスを搭載した Mac だけです。 Thunderbolt 5 をサポートしていない古いデバイスの場合、Harbor が同じクラスタリング機能を提供するという証拠は現時点ではありません。
Harbor が最終的に正式に開始される場合、それは Apple が地元の AI インフラストラクチャ ソフトウェア市場により直接的に参加し始めることを意味します。これまで、Apple は主に Apple Silicon チップと macOS を通じてサードパーティ AI 開発ツールのハードウェアとシステム基盤を提供していました。一方、Harbor により、Apple はモデルのダウンロードと展開から複数マシンの動作に至るまでの完全なソリューション セットを提供できるようになる可能性があります。
このモデルは、内部ネットワーク内で AI を実行し、機密データがローカル デバイスから流出することを避けたい企業にとって、実用的な魅力があります。ただし、Apple または Claris は、Harbor が最終的にどのモデルをサポートできるか、何台の Mac でクラスターを形成できるか、実際の推論パフォーマンスはどのくらいか、そして充電モデルを採用するかどうかについて、さらに詳細を発表する必要があります。
コメント