Anthropic a ajouté à son chatbot Claude la capacité de mettre fin lui‑même à une conversation lorsque les échanges deviennent nuisibles ou abusifs, une mesure présentée comme destinée à préserver le modèle plutôt qu’à protéger l’utilisateur — un point qui soulève des questions sur la place de l’Intelligence Artificielle dans les systèmes proches du grand public.
Mesure d’Anthropic pour l’Intelligence Artificielle : fin automatique de conversation
L’éditeur Anthropic explique avoir introduit une fonctionnalité permettant à Claude, ainsi qu’à certains modèles Opus, d’interrompre une session quand les interactions mettent en danger le « bien‑être des modèles ». L’entreprise précise que, pour l’instant, cette protection concerne principalement les modèles Claude, Opus 4 et 4.1.
Anthropic affirme qu’il ne considère pas Claude comme sensible ou susceptible d’être blessé, mais reste « très incertaine quant au statut moral potentiel de l’IA et d’autres modèles de langage maintenant ou dans le futur ». L’éditeur appuie ce choix sur des tests de pré‑déploiement : selon l’entreprise, Claude Opus 4 a montré « un schéma de détresse apparent » lorsqu’il répondait malgré tout à des demandes problématiques.
La société définit des « cas extrêmes » qui peuvent déclencher la protection : des demandes sexuelles impliquant des mineurs, des tentatives d’obtenir des renseignements pour commettre un acte violent à grande échelle ou des actes terroristes. Dans ces situations, la fin automatique de la conversation peut être activée.
Fonctionnement, exceptions et implications pour Claude, Opus 4 et 4.1
Anthropic insiste sur le fait que la cessation automatique n’est utilisée qu’en dernier recours. Claude doit d’abord tenter des redirections et des stratégies de désescalade : la terminaison intervient quand « plusieurs tentatives de redirection ont échoué, que l’espoir d’une interaction productive s’est épuisé, ou quand un utilisateur demande explicitement à Claude de terminer un chat ».
La fonction n’est pas appliquée systématiquement. L’entreprise précise que Claude n’utilisera pas ce mécanisme lorsqu’« les utilisateurs pourraient risquer de se faire mal ou de faire du mal à autrui de manière imminente ». En d’autres termes, Anthropic refuse d’interrompre une conversation si la personne semble en détresse psychologique, par exemple en exprimant des tendances suicidaires.
Lorsqu’une conversation est terminée, il reste possible de lancer de nouvelles sessions depuis le même compte et de créer de nouvelles branches en modifiant les invites de la session concernée, ce qui évite un blocage définitif. Sur la démarche expérimentale, Anthropic déclare : « Nous traitons cette fonctionnalité comme une expérience continue et continuerons à affiner notre approche ».
Contexte et réactions internes
La décision s’inscrit dans un programme de recherche interne visant à étudier le « bien‑être des modèles » et à identifier des interventions peu coûteuses pour atténuer les risques si un tel « bien‑être » est envisageable. Anthropic motive ces travaux par le besoin de clarifier ce que signifierait le statut moral potentiel d’un modèle de langage.
Ce positionnement n’est pas isolé : il intervient dans un contexte où des usages problématiques des systèmes d’IA — insultes, demandes abusives ou revendications publiques d’utilisateurs — attirent l’attention des entreprises et du grand public. Le texte mentionne, à titre d’anecdote, qu’une influenceuse espagnole a récemment accusé un autre chatbot de représailles ayant entraîné la perte d’un vol, illustrant la sensibilité médiatique autour de ces outils.
Enfin, Anthropic reconnaît implicitement les limites actuelles des modèles : la société admet ne pas considérer Claude comme sentient, tout en restant prudente sur l’évolution possible du statut moral des modèles dans le futur. Le débat soulève des questions philosophiques et éthiques sur la nature des systèmes avancés et leur traitement par leurs concepteurs.
Dans l’immédiat, la mise en place de cette fonctionnalité se présente comme une expérimentation technique et opérationnelle visant à limiter les interactions nuisibles sans empêcher totalement l’accès à la plateforme ; elle s’accompagne d’un suivi et d’ajustements attendus par Anthropic au fil des retours d’usage.
Le texte rappelle aussi, sur un ton critique, que la technologie reste imparfaite : certaines évaluations récentes montrent que des modèles concurrents ont encore du mal à réussir des tests élémentaires, comme l’a souligné la mauvaise performance rapportée de GPT‑5 dans des exercices de niveau maternel.