Optimiser les performances de vos LLM : les recommandations d’OpenAI
Les grands modèles de langage, ou LLM, sont disponibles pour le grand public depuis bientôt deux ans, mais leur potentiel reste souvent sous-exploité. Ces outils peuvent présenter des problèmes tels que l’hallucination, des erreurs de formatage ou des incompréhensions contextuelles. Pour les maîtriser efficacement, il est essentiel de comprendre leur fonctionnement et d’investir du temps dans des itérations et des tests. OpenAI a ainsi rassemblé plusieurs conseils pour aider à mieux exploiter ces modèles.
Les principaux leviers d’action
OpenAI met en avant trois leviers pour optimiser les résultats d’un LLM : l’optimisation du prompt, le RAG (Récupération Augmentée de Génération) et le fine-tuning. Plutôt que de suivre une approche linéaire simpliste, OpenAI recommande d’appliquer chaque levier indépendamment selon les difficultés rencontrées.
La start-up basée à San Francisco distingue deux axes d’optimisation majeurs : l’optimisation du contexte et celle du LLM lui-même. L’optimisation du contexte a pour but d’améliorer la précision des réponses en fournissant les informations nécessaires au modèle. Cette méthode est conseillée lorsque le modèle semble manquer d’informations contextuelles ou que les connaissances qu’il possède sont obsolètes. On peut avoir recours au RAG ou intégrer directement du contexte dans le prompt. Cela permet de maximiser la pertinence et la justesse des réponses fournies.
L’optimisation du LLM, quant à elle, vise à perfectionner la cohérence et le comportement du modèle. Elle est utilisée lorsque le modèle génère des résultats incohérents, mal formatés, ou lorsque le ton et le style des réponses ne sont pas appropriés. Dans ce cas, des techniques telles que le fine-tuning et l’ingénierie des prompts s’avèrent utiles.
Méthodologie recommandée par OpenAI
Pour atteindre une performance optimale de vos LLM, OpenAI propose une méthodologie structurée :
- Établir un prompt de base avec des instructions claires pour des tâches spécifiques.
- Inclure quelques exemples statiques dans le prompt pour illustrer la tâche à accomplir.
- Tester le prompt et évaluer ses performances.
- Si les résultats ne sont pas satisfaisants, constituer un ensemble d’au moins 50 exemples variés pour enrichir les tests.
- Utiliser ces exemples pour procéder à un fine-tuning du modèle.
Si le modèle ne produit pas des résultats satisfaisants, OpenAI recommande d’implémenter un système de récupération dynamique (RAG) couplé à une vérification des faits pour éviter les erreurs de type « hallucinations ».
Formuler un bon prompt
Un bon prompt est crucial pour obtenir de bons résultats. OpenAI préconise de rédiger des instructions simples et explicites. Si la tâche se révèle trop complexe, il est conseillé de la fractionner en sous-tâches. Cela aide le modèle à structurer les informations et à fournir des réponses plus cohérentes.
Par exemple, pour analyser un article de presse, plutôt que de demander simplement “Analysez cet article”, il serait plus efficace de poser des questions précises comme :
- Résumé en 2-3 phrases.
- Identification du sujet principal.
- Détermination du ton général (positif, négatif, neutre).
- Citation d’une phrase clé qui illustre ce ton.
- Conclusion sur le message global de l’article.
Le processus de testing doit être gradual, en modifiant un élément à la fois dans le prompt afin d’évaluer l’impact de chaque changement sur la performance du modèle. En intégrant, lorsque c’est pertinent, des documents de référence, vous incitez le modèle à utiliser les bonnes informations pour formuler sa réponse.
Évaluation des performances du LLM
Pour bien évaluer un LLM, OpenAI suggère de créer un ensemble de questions et de réponses de référence, idéalement composé d’au moins 20 exemples représentatifs. Ces éléments serviront de bases pour mesurer la précision et la cohérence du modèle. Les métriques automatisées telles que ROUGE et BERTScore sont recommandées pour cette évaluation. ROUGE mesure la similarité entre les réponses générées et celles de référence, tandis que BERTScore analyse la profondeur sémantique.
OpenAI met également en avant l’utilisation de GPT-4 comme évaluateur, avec des critères détaillés pour l’évaluation. Néanmoins, l’évaluation humaine demeure essentielle, surtout pour les tâches complexes. Après chaque modification du prompt ou du modèle, il est impératif de répéter ce processus d’évaluation.
Un équilibre entre performance et coût
OpenAI encourage les développeurs à adopter une approche pragmatique en matière d’optimisation des LLM. La clé réside dans la définition d’un niveau de précision « suffisamment bon » pour chaque application. Une analyse minutieuse des enjeux commerciaux et techniques propres à chaque projet s’avère indispensable pour éviter une suroptimisation. Par exemple, dans un contexte de service client, une réponse rapide mais légèrement inexacte pourrait être plus bénéfique qu’une réponse parfaite mais tardive.
Enfin, OpenAI recommande d’instaurer des garde-fous, notamment des vérifications humaines pour les décisions critiques, plutôt que de viser une perfection souvent illusoire du modèle.