今日、Google は新しいオープンソースを発表しました。オープンな埋め込みモデル EmbeddingGemma。このモデルは小型で幅が広く、3億800万のパラメータ、のために設計されていますデバイスサイド AIラップトップ、携帯電話、その他のデバイス上での検索拡張生成 (RAG)、セマンティック検索、その他のアプリケーションの展開をサポートするように設計されています。


EmbeddingGemma の主な特徴は、次の機能です。プライバシーを確​​保した高品質の埋め込みベクトルを生成、でも切断されました通常環境でも正常に動作し、2倍のサイズのQwen-Embedding-0.6Bと同等の性能を誇ります。


▲Hugging Face オープンソース ページのスクリーンショット

ハグフェイスアドレス:

https://huggingface.co/collections/google/embeddinggemma-68b9ae3a72a82f0562a80dc4

Google によると、EmbeddingGemma には次のような特徴があります。

1. クラス最高:Massive Text Embedding Benchmark (MTEB) では、EmbeddingGemma は、5 億未満のオープンな多言語テキスト埋め込みモデルの中で最高位にランクされています。 EmbeddingGemma は Gemma 3 アーキテクチャに基づいて構築されており、100 を超える言語向けにトレーニングされています。容量が小さく、定量化後は 200MB 未満のメモリで実行できます。


▲MTEBスコア：EmbeddingGemmaのパフォーマンスは2倍のサイズの上位モデルと同等

2. 柔軟なオフライン作業向けに設計:小型、高速、効率的で、カスタマイズ可能な出力サイズと 2K トークンのコンテキスト ウィンドウを提供し、携帯電話、ラップトップ、デスクトップなどの日常的なデバイスで実行できます。 Gemma 3n と連携するように設計されており、連携してモバイル RAG パイプライン、セマンティック検索などの新しいユースケースを実現します。

3. 一般的なツールと統合します。ユーザーが簡単に EmbeddingGemma を使い始めることができるように、Sentence-transformers、llama.cpp、MLX、Ollama、LiteRT、transformers.js、LMStudio、Weaviate、Cloudflare、LlamaIndex、LangChain などのユーザーのお気に入りのツールと既に連携しています。

1. 高品質の埋め込みベクトルを生成でき、エンドサイド RAG はより正確な応答を生成します。

EmbeddingGemma は埋め込みベクトルを生成します。この記事の文脈では、テキストを数値ベクトルに変換し、高次元空間でテキストのセマンティクスを表現できます。埋め込みベクトルの品質が高くなるほど、言語のニュアンスや複雑な特徴がよりよく表現されます。


▲EmbeddingGemmaは埋め込みベクトルを生成します

RAG プロセスの構築には 2 つの重要な段階があります。ユーザー入力に基づいて関連するコンテキストを取得することと、そのコンテキストに基づいて十分に根拠のある回答を生成することです。

検索機能を実装するには、ユーザーはまずプロンプト単語の埋め込みベクトルを生成し、次にこのベクトルとシステム内のすべての文書の埋め込みベクトルとの間の類似性を計算します。このようにして、ユーザーのクエリに最も関連するテキストの断片を取得できます。

その後、ユーザーはこれらのテキスト スニペットを元のクエリとともに Gemma 3 などの生成モデルに入力して、文脈に応じた関連性のある回答を生成できます。たとえば、モデルは、損傷した床を修理するために大工に電話する必要がある電話番号を理解できます。

この RAG プロセスを効果的にするには、最初の検索ステップの品質が重要です。埋め込みベクトルの品質が低いと、無関係なドキュメントが取得され、不正確または無意味な回答が得られる可能性があります。

EmbeddingGemma のパフォーマンス上の利点はこれに反映されており、高品質の (テキスト) 表現を提供し、正確で信頼性の高いエンドサイド アプリケーションに対するコア サポートを提供できます。

2. Qwen-Embedding-0.6B。サイズは 2 倍近くありますが、サイズは小さいです。

EmbeddingGemma は、その規模に見合った最先端のテキスト理解機能を提供し、特に多言語埋め込み生成において強力なパフォーマンスを発揮します。

他の一般的な埋め込みモデルと比較して、EmbeddingGemma は、検索、分類、クラスタリングなどのタスクで優れたパフォーマンスを発揮します。

EmbeddingGemma は、平均 (タスク)、検索、分類、クラスタリングなどのテストにおいて、同じサイズの gte-multilingual-base モデルに完全に追いつきました。テスト結果も Qwen-Embedding-0.6B に近く、サイズは 2 倍です。


▲EmbeddingGemmaの評価状況

EmbeddingGemma モデルには 3 億 8M のパラメータがあり、主に約 1 億のモデル パラメータと 2 億の埋め込みパラメータで構成されます。

柔軟性を高めるために、EmbeddingGemma は Matryoshka Representation Learning (MRL) を利用して、単一のモデルに複数の埋め込みサイズを提供します。開発者は、最高の品質を得るために完全な 768 次元ベクトルを使用することも、より小さい次元 (128、256、または 512) に切り詰めて速度を向上させ、ストレージ コストを削減することもできます。

Google は、EdgeTPU での組み込み推論時間 (256 入力トークン) を 15 ミリ秒未満に短縮し、速度の境界を突破しました。これは、ユーザーの AI 機能がリアルタイムの応答を提供し、スムーズで即時のインタラクションを実現できることを意味します。

Google は、量子化対応トレーニング (QAT) を使用して、モデルの品質を維持しながら RAM 使用量を 200 MB 未満に大幅に削減しました。

3. インターネットに接続していないときでも使用でき、200MB 未満のメモリでも実行できます。

EmbeddingGemma を使用すると、開発者は柔軟でプライバシーを重視したオンデバイス アプリケーションを構築できます。デバイスのハードウェア上に直接ドキュメントの埋め込みを生成し、機密性の高いユーザー データを安全に保つのに役立ちます。

Gemma 3n と同じトークナイザーをテキスト処理に使用するため、RAG アプリケーションのメモリ フットプリントが削減されます。ユーザーは EmbeddingGemma を使用して、次のような新機能のロックを解除できます。

インターネットに接続しなくても、個人ファイル、テキスト、電子メール、通知を一度に検索できます。

RAG と Gemma 3n を使用した、パーソナライズされた業界固有のオフライン サポート チャットボット。

ユーザーのクエリを関連する関数呼び出しに分類して、モバイル エージェントの理解 (ユーザーのニーズ) を支援します。

下の画像は、3 次元空間へのテキスト埋め込みを視覚化する EmbeddingGemma のインタラクティブなデモンストレーションです。モデルは完全にデバイス上で実行されます。


▲EmbeddingGemma のインタラクティブなデモンストレーション (出典: Hugging Face チームの Joshua)

デモ体験アドレス：

https://huggingface.co/spaces/webml-community/semantic-galaxy)

結論: 小型サイズと優れた機能により、エンドサイド インテリジェンスの開発が加速します

EmbeddingGemma の発売は、小型化、多言語、デバイスサイド AI における Google の新たな進歩を示します。パフォーマンスが大型モデルに近いだけでなく、速度、メモリ、プライバシーのバランスも取れています。

将来的には、RAG やセマンティック検索などのアプリケーションがパーソナル デバイスに広がり続けるにつれて、EmbeddingGemma はデバイス側インテリジェンスの普及を促進する重要な基盤となる可能性があります。