Détection et évaluation de la communication toxique pour la relation client par des LLMs
Guillaume De Murcia, Ludovic Meineri, Laurent Gillard, Thomas Gouritin, Samy Lastmann
Résumé : Cet article présente une méthode de détection de la toxicité dans les interactions et dialogues client avant des générations par un LLM. En proposant une taxonomie originale, adaptée aux échanges conversationnels et à la relation client, nous avons conçu un processus d'évaluation rigoureux, accompagné de deux corpus annotés : Toximini-fr etToxiMaxi-multilingual . Ces corpus combinent des requêtes issues de données réelles — extraites de logs de nos chatbots en production — et de jeux de données de référence, ainsi que des exemples générés de manière synthétique afin de couvrir un large éventail de situations. Nos expérimentations comparent différents modèles, dont GPT-4o mini et Mistral Moderation , sur des requêtes multilingues dans des contextes variés. Les résultats montrent que notre approche permet une détection robuste, notamment sur les contenus bruités ou implicites. Cette étude ouvre la voie à une meilleure maîtrise des risques liés aux comportements toxiques dans les échanges conversationnels automatisés.
Mots clés : toxicité, évaluation, toxicité conversationnelle, LLM, relation client, taxonomie, corpus annoté, multilingue, données synthétiques.