Modèles d’IA : plus d’échelle, moins de fiabilité ?

Une étude met en lumière la fiabilité des modèles de langage IA

Une étude récente confirme qu’à mesure que les modèles de langage d’intelligence artificielle (IA) sont étendus par l’ajout d’instructions et de formations d’alignement, leur fiabilité diminue. En dépit de leur puissance, ces modèles tendent à produire des réponses erronées avec une assurance surprenante. Ces résultats soulignent l’urgence d’une révision fondamentale dans la conception et le développement de l’intelligence artificielle générale (AGI).

Les erreurs des grands modèles de langage

Les grands modèles de langage (LLM) ne sont pas à l’abri d’erreurs inattendues, même lors de l’exécution de tâches simples. Des chercheurs se penchent sur de nouvelles stratégies pour améliorer leur fiabilité, mais l’étude a révélé que les « hallucinations » de ces LLM proviennent de leurs fondements mathématiques et logiques. Bien que l’augmentation de la complexité des modèles puisse réduire la fréquence de ces hallucinations, il est impossible de les éradiquer complètement.

Limites des modèles de langage mis à l’échelle

D’après les recherches menées, plus les modèles de langage sont puissants, plus ils ont tendance à commettre des erreurs. L’étude a observé que les modèles en phase d’expansion réussissent parfois à donner des réponses plausibles à des questions complexes tout en se trompant sur des tâches facilement réalisables. Les résultats démontrent la nécessité d’une approche plus robuste dans le développement de l’IA, en particulier pour les applications où les erreurs peuvent avoir des conséquences graves.

Recommandations basées sur les résultats de l’étude

Cette étude a été réalisée en deux étapes. La première a examiné la difficulté perçue et réelle pour les participants de répondre à des questions, tandis que la seconde a impliqué des humains qui supervisaient ou vérifiaient les réponses générées par un modèle. Pour maximiser l’adéquation des difficultés et réduire les erreurs possibles, les chercheurs suggèrent d’intégrer ces éléments dans la fonction de perte lors de l’entraînement des modèles.

Une approche innovante pourrait consister à exploiter des ensembles de données plus vastes pour mieux saisir les attentes humaines vis-à-vis des difficultés. Cela permettrait à l’intelligence artificielle elle-même de former les superviseurs afin d’optimiser le processus de mise en forme des réponses.

Implications pour l’avenir des modèles de langage IA

Les résultats de cette recherche suscitent des discussions sur la manière dont les grands modèles de langage peuvent être améliorés pour présenter des caractéristiques humaines et garantir une fiabilité accrue. Alors que l’utilisation des LLM devient prévalente dans la vie quotidienne, il est essentiel de ne pas se fier uniquement à la supervision humaine, en particulier dans des domaines où la vérité est primordiale.

Critiques et limites de l’étude

Parmi les critiques, la composition des participants, majoritairement des non-experts, pose question quant à la valeur des résultats obtenus. De plus, l’échantillon utilisé pour l’analyse présente certaines lacunes, notamment le manque d’accès à des scénarios réels. L’étude n’a également exploré qu’un sous-ensemble de familles de modèles, ce qui limite sa portée.

Les experts de la communauté scientifique s’accordent à dire que cette étude ouvre de nouvelles voies de réflexion sur la fiabilité des modèles de langage IA et sur la manière dont leur évolutivité peut influencer leurs performances.