Cohere a récemment dévoilé deux nouveaux modèles open-weight dans le cadre de son projet Aya, dans le but de réduire le fossé linguistique dans les modèles fondamentaux. Les modèles Aya Expanse 8B et 35B, disponibles dès maintenant, visent à améliorer les performances dans 23 langues.
Des avancées significatives dans les modèles IA
Selon Cohere, le modèle de 8 milliards de paramètres « rendent les percées plus accessibles aux chercheurs du monde entier », tandis que le modèle de 32 milliards de paramètres offre des capacités multilingues de pointe. Le projet Aya cherche à élargir l’accès aux modèles fondamentaux dans des langues autres que l’anglais. Lancé l’année dernière par Cohere for AI, le projet a déjà vu la sortie de l’Aya 101, un modèle de langage de 13 milliards de paramètres couvrant 101 langues.
Performances des modèles Aya Expanse
Cohere affirme que les deux modèles Aya Expanse surpassent systématiquement des modèles IA similaires de Google, Mistral et Meta. Le modèle Aya Expanse 32B a obtenu de meilleurs résultats lors des tests multilingues que le Gemma 2 27B et le Llama 3.1 70B, tandis que le modèle 8B a également surpassé ses pairs.
Éviter la génération de contenu incohérent
Cohere a développé les modèles Aya en utilisant une méthode d’échantillonnage de données appelée arbitrage de données, afin d’éviter la génération de contenu inintelligible souvent observée lorsque les modèles reposent sur des données synthétiques. Cette approche vise à garantir que les modèles tiennent compte des « préférences globales » tout en intégrant différentes perspectives culturelles et linguistiques.
Un projet axé sur les langues diverses
L’initiative Aya met l’accent sur la recherche autour des modèles de langage qui fonctionnent efficacement dans des langues autres que l’anglais. Bien que de nombreux modèles finissent par être disponibles dans d’autres langues, il est souvent difficile de trouver des données pour l’entraînement. L’anglais étant la langue officielle dans de nombreux domaines, il est plus facile d’accéder à des données dans cette langue.
Activités récentes de Cohere
Cohere a été particulièrement active ces dernières semaines. La société a récemment ajouté des capacités de recherche d’images à son produit d’embedding Embed 3, utilisé dans les systèmes de génération augmentée de récupération (RAG). De plus, le modèle Command R 08-2024 a été optimisé ce mois-ci.