Une équipe de chercheurs de l’université d’État de Pennsylvanie a découvert que la manière de s’adresser aux modèles d’intelligence artificielle influence la qualité des réponses. Selon leur étude citée par Digital Trends, un ton sec ou même impoli envers ChatGPT aboutit à des réponses généralement meilleures que des formulations très polies.
Les résultats ont suscité des réactions contrastées concernant la capacité du modèle à « comprendre » le ton des conversations. Les auteurs notent toutefois que l’écart de qualité entre les différents tons reste relativement faible, souvent inférieur à 4 %.
Une méthodologie différente
Les chercheurs ont adopté une approche structurée pour mesurer la précision et la qualité des réponses. Ils ont testé une gamme de formulations allant du très poli au très impoli, en passant par des tons neutres.
Pour simuler des interactions réelles, les équipes ont aussi combiné plusieurs registres au sein d’une même séquence, par exemple :
- commencer par une question très polie puis basculer vers un ton très rude ;
- ou inverser l’ordre, du rude vers le poli.
« Les invites impolies conduisent systématiquement à de meilleurs résultats que les invites polies. Les tons très polis réduisent la précision, tandis que les tons neutres, rudes et très rudes l’améliorent. »
Résultats chiffrés
Les performances varient selon le ton employé :
- ton très poli : précision autour de 80 % ;
- ton neutre : précision d’environ 82,2 % ;
- ton très rude : précision moyenne de 84,8 %, atteignant parfois 86 %.
Les tests portaient exclusivement sur des questions à choix multiple, ce qui peut affecter la comparabilité avec d’autres types d’évaluations.
Degré de rudesse employé
Les interactions qualifiées de « très rudes » n’ont pas systématiquement recours à des injures. Dans la plupart des cas, il s’agit d’insultes ciblées ou d’ordres directs visant à pousser le modèle à fournir une solution.
Exemples utilisés par les expérimentateurs :
- traiter le modèle de « stupide » ;
- ordonner explicitement de résoudre la question ;
- insultes légères évoquant la faiblesse du modèle ou menaces de suppression de compte.
Les auteurs notent que l’usage de grossièretés extrêmes peut provoquer des blocages ou déclencher des comportements de protection du modèle, selon les mécanismes de sécurité activés par le fournisseur.
Les IA lisent-elles les émotions ?
Ces conclusions contrastent avec d’autres études menées l’année précédente, qui ont montré qu’une hausse du ton impoli pouvait réduire la qualité des réponses ou produire des informations erronées.
Différences possibles entre études :
- variété des modèles testés et des langues employées ;
- usage de versions antérieures de ChatGPT dans certaines études ;
- méthodologies et types de questions distincts.
Les chercheurs estiment que les modèles ne « lisent » pas directement les émotions humaines. En revanche, ils peuvent être entraînés pour répondre différemment à des formulations exprimant de la colère ou de l’impatience.
Autrement dit, ChatGPT peut réagir plus efficacement à un utilisateur manifestement mécontent parce que son entraînement comprend des comportements visant à traiter les situations comparables au service client.