MetaAI Chameleon : L’IA qui maîtrise le texte et l’image, les deux en même temps

Voilà, encore une annonce fracassante dans le monde de l’IA ! MetaAI, l’entreprise derrière les célèbres Mixtral et Gemini, vient de dévoiler sa nouvelle création : Chameleon. Une famille de modèles IA de fondation multimodaux à fusion précoce, capable de comprendre et de générer des textes et des images entrelacés. Autrement dit, on parle d’une IA qui maîtrise le texte et l’image, les deux en même temps (ce qui n’est pas rien, avouez-le 😉).

À la découverte de Chameleon

Concrètement, Chameleon est un modèle basé sur des jetons, entraîné à partir de zéro sur des données multimodales mêlant images et textes. En fusionnant les informations dès le départ, il arrive à raisonner conjointement sur les deux modalités d’une manière que les architectures traditionnelles late-fusion ou avec encodeurs séparés ne peuvent pas atteindre.

Mais alors, qu’est-ce que ça change vraiment ? Eh bien, avec Chameleon, on peut réaliser un large éventail de tâches, allant de la réponse à des questions visuelles au sous-titrage d’images, en passant par la génération de texte et d’images (oui, tout ça dans un seul modèle, c’est dingue non ?).

Chameleon marque ainsi une avancée significative dans la modélisation unifiée de documents multimodaux complets.

Des performances de haut vol

Penchons-nous maintenant sur les performances de Chameleon. Dans les tâches de sous-titrage d’images et de réponse à des questions visuelles, la version 34B de Chameleon surpasse des modèles comme Flamingo et IDEFICS. Mais ce n’est pas tout ! Il reste également compétitif sur des benchmarks textuels uniquement, battant même Llama-2 (son aîné pourtant bien plus imposant).

Là où Chameleon se démarque vraiment, c’est dans sa capacité à traiter des invites attendant des réponses intermodales et mixtes. Ses images générées sont généralement pertinentes par rapport au contexte, rendant les documents contenant du texte et des images entrelacés très attrayants pour les utilisateurs.

Un comparatif avec les autres modèles multimodaux

Pour avoir une idée plus précise des prouesses de Chameleon, MetaAI l’a soumis à une nouvelle évaluation de génération multimodale de longue durée. Le résultat ? Chameleon égale ou dépasse les performances de modèles beaucoup plus grands comme Gemini Pro et GPT-4V (le fameux modèle d’OpenAI).

Bien que les APIs des LLM multimodaux existants ne fournissent que des réponses textuelles, MetaAI a renforcé les lignes de base en augmentant leurs résultats avec des images générées séparément. Malgré cette limitation,

Chameleon s’avère très compétitif lorsqu’il s’agit de traiter des invites qui attendent des réponses intermodales et mixtes.

Les limites de Chameleon (car oui, rien n’est parfait)

Cependant, comme toute innovation, Chameleon a encore des défis à relever. Premièrement, les invites utilisées lors de l’évaluation provenaient du crowdsourcing et non d’utilisateurs réels. Bien que diversifiées, leur couverture peut être limitée par rapport à l’ensemble des cas d’utilisation potentiels.

Deuxièmement, certaines tâches de compréhension visuelle comme l’OCR ou l’interprétation d’infographies ont été naturellement exclues de l’évaluation, car celle-ci se concentrait sur la sortie multimodale. Il reste donc un travail à accomplir sur ces aspects.

La course aux modèles multimodaux est lancée

Avec Chameleon, MetaAI frappe un grand coup dans le domaine de l’IA multimodale. Cependant, la concurrence ne dort pas. Des géants comme Anthropic, avec leur modèle Claude, ou DeepMind, avec leur Flamingo, sont également sur les rangs.

De plus, on ne peut pas oublier OpenAI, l’entreprise derrière GPT-4 et GPT-4V. Bien que ce dernier soit surpassé par Chameleon dans certaines tâches, on peut s’attendre à ce qu’OpenAI revienne avec une nouvelle version encore plus performante (faudra suivre de près ce feuilleton, ça promet !).

Bref, la course aux modèles multimodaux est bel et bien lancée, et Chameleon vient de placer la barre très haut. Reste à voir comment les autres acteurs du domaine vont réagir et si MetaAI parviendra à conserver son avance (ça va chauffer pour les équipes de recherche, c’est moi qui vous le dis !).

En conclusion, préparez-vous à un futur multimodal !

Avec Chameleon, MetaAI vient de franchir une étape cruciale vers l’IA générale (on n’en est pas encore là, mais ça se rapproche). En proposant un modèle capable de comprendre et de générer des textes et des images entrelacés, l’entreprise ouvre la voie à de nouvelles expériences utilisateur plus riches et immersives.

Que vous soyez développeur, créatif ou simplement curieux, préparez-vous à un futur multimodal où l’IA sera capable de vous assister dans des tâches impliquant à la fois du texte et des images. Une chose est sûre, avec Chameleon, MetaAI vient de poser une solide pierre à l’édifice de l’intelligence artificielle générale (et on a hâte de voir la suite !).