Google publie EmbeddingGemma 2 pour la recherche multimodale sur les appareils périphériques

Google a annoncé le 6 octobre 2026 la sortie d’EmbeddingGemma 2, un modèle d’embedding multimodal open‑source sous licence Apache 2.0. Le modèle se veut une solution légère pour la recherche, le routage et la recherche de similarité sur l’appareil, couvrant le texte, le code, les images, la vidéo et l’audio. En rendant les poids disponibles publiquement sur Hugging Face et Kaggle, Google invite les développeurs à exécuter le modèle directement sur du matériel périphérique sans dépendre d’API cloud. L’annonce précise que le modèle n’est pas destiné aux tâches génératives mais à la génération d’embeddings hors ligne pouvant alimenter des moteurs de recherche locaux, des pipelines de recommandation et du filtrage basé sur le contenu.

Un modèle d’embedding multimodal léger

EmbeddingGemma 2 comprend 740 millions de paramètres qui codent conjointement cinq modalités de données — texte brut, code source, images fixes, images‑vidéo et extraits audio—dans un espace d’embedding unique. Cet espace unifié permet à un seul index de recherche de similarité de gérer des requêtes hétérogènes, par exemple faire correspondre une description orale à des extraits de code pertinents ou récupérer des images‑vidéo correspondant à une invite textuelle. Google décrit l’architecture comme un encodeur basé sur le transformeur qui traite chaque modalité via des front‑ends dédiés avant de projeter les représentations dans un vecteur commun de 768 dimensions. Le caractère open‑source du modèle permet aux chercheurs d’inspecter les couches, de le peaufiner sur des données de domaine ou de remplacer les composants spécifiques à chaque modalité.

Pour les charges de travail purement textuelles, Google indique une configuration réduite n’utilisant que 270 millions de paramètres. Les développeurs qui ont besoin de compréhension visuelle peuvent ajouter un encodeur vision optionnel de 170 millions de paramètres, tandis que le traitement audio ajoute un encodeur supplémentaire de 300 millions de paramètres. Cette conception modulaire signifie qu’un développeur peut exécuter une instance texte‑seul sur des appareils très contraints et ne charger les encodeurs additionnels que lorsque des entrées multimodales sont requises. Google précise que les encodeurs optionnels sont compatibles avec la même tête d’embedding, conservant le format vectoriel unifié pour toutes les modalités prises en charge.

Apprentissage de représentation Matryoshka pour l’efficacité du stockage

Une innovation clé mise en avant par Google est l’Apprentissage de représentation Matryoshka, une technique qui permet aux développeurs de compresser les vecteurs par défaut de 768 dimensions en 512, 256 ou 128 dimensions sans ré‑entraîner le modèle. La méthode fonctionne en apprenant des sous‑espaces imbriqués qui conservent la majorité de l’information de similarité tout en éliminant les dimensions redondantes. Selon les mesures de Google, passer à 128 dimensions peut réduire l’empreinte de stockage jusqu’à six fois, ce qui se traduit par une consommation mémoire moindre pour de grandes tables d’index sur les appareils périphériques. Les vecteurs compressés restent compatibles avec les métriques de similarité standard telles que la similarité cosinus, permettant un remplacement direct dans les pipelines existants.

Performance en périphérie sur le Pixel 11 Pro

Google fournit des benchmarks au niveau de l’appareil pour le Pixel 11 Pro, le smartphone phare lancé plus tôt en 2026. Une version quantifiée texte‑seul d’EmbeddingGemma 2 occupe environ 191 Mo de RAM active, tandis que la pile multimodale complète — texte, vision et audio combinés — utilise environ 567 Mo. Le modèle supporte une fenêtre de contexte de 8 000 tokens pour le texte, jusqu’à 5,5 minutes d’audio, 29 images ou 58 images‑vidéo par passe d’inférence. Ces chiffres démontrent qu’un smartphone haut de gamme peut héberger l’ensemble du modèle et générer des embeddings en temps réel pour des requêtes mixtes sans assistance hors‑appareil.

Dans la suite de benchmarks MTEB (Massive Text Embedding Benchmark), Google rapporte qu’EmbeddingGemma 2 améliore le score du sous‑benchmark Code, passant de 68,76 à 78,68. Cette hausse reflète la capacité du modèle à saisir les motifs syntaxiques et sémantiques des langages de programmation, une aptitude bénéfique pour la recherche de code et la détection de duplicata. Google présente ce résultat comme la preuve qu’un modèle ouvert de 740 millions de paramètres peut surpasser des embeddings propriétaires plus volumineux sur des tâches spécifiques, bien que le benchmark soit une mesure fournie par le vendeur et ne couvre pas forcément tous les scénarios réels.

Les poids du modèle sont hébergés publiquement à la fois sur Hugging Face et Kaggle, et Google indique la compatibilité avec les environnements d’exécution courants tels que TensorFlow, PyTorch et ONNX. En fournissant des scripts de conversion et des pipelines d’inférence d’exemple, Google vise à réduire les obstacles pour les développeurs souhaitant intégrer EmbeddingGemma 2 dans des applications mobiles, des systèmes embarqués ou des serveurs périphériques. La licence ouverte (Apache 2.0) autorise l’usage commercial, la modification et la redistribution, ce qui s’aligne avec la stratégie plus large de Google visant à favoriser un écosystème d’outils IA communautaires fonctionnant localement.

Google avertit que les chiffres de performance sont des mesures du vendeur réalisées sur une configuration matérielle spécifique et peuvent varier sur d’autres plateformes périphériques. Le modèle est optimisé pour la recherche et le routage, pas pour la génération de texte ou la création de contenu, de sorte que les développeurs ne doivent pas s’attendre à ce qu’il remplace les grands modèles de langage dans des scénarios de chat ou de synthèse. De plus, les exigences de stockage et de RAM, bien que modestes pour un smartphone haut de gamme, peuvent rester prohibitives pour les appareils IoT bas de gamme qui ne disposent pas de plusieurs centaines de mégaoctets de mémoire libre.

Pour les développeurs construisant des solutions de recherche privées et hors ligne, EmbeddingGemma 2 offre une voie concrète pour unifier l’indexation multimodale sans envoyer de données au cloud. Des applications telles que les assistants personnels sur l’appareil, les systèmes de gestion de documents sécurisés ou les moteurs de recommandation localisés peuvent désormais encoder texte, code, images, vidéo et audio dans un même espace vectoriel et effectuer des correspondances de similarité localement. La capacité de réduire la taille des vecteurs grâce à Matryoshka diminue davantage le coût de maintien de grands index, rendant possible le stockage de millions d’éléments sur des supports de stockage périphériques.

Avec EmbeddingGemma 2, Google redéfinit la référence de ce qui peut être exécuté sur l’appareil : un modèle ouvert unique gère désormais cinq modalités, tient dans l’enveloppe mémoire d’un smartphone moderne et délivre une compréhension du code au niveau des benchmarks. Cette sortie signale un virage vers une IA plus puissante, respectueuse de la vie privée et résidant à la périphérie, et invite la communauté des développeurs à expérimenter la recherche multimodale sans dépendre de services cloud lourds.