Peuvent-ils détecter un texte écrit par une machine avec une précision de 100 % ? Presque jamais .
Selon Thomas Jacquesson, président de Lucide AI, créateurs d’un tel outil, ces programmes fonctionnent méthodiquement et doivent toujours être considérés comme un indice , et rien de plus.
Les premiers programmes utilisaient des règles basées sur des schémas typiques des textes générés par machine . Les programmes modernes utilisent des centaines de milliers d’ échantillons de textes d’ origine connue pour entraîner un algorithme à différencier mathématiquement les textes écrits par des humains de ceux écrits par des machines . Aucun filigrane ni autre indice ne permet de savoir que le texte a été généré par une IA .
Des méthodes ou des données d’entraînement différentes peuvent produire des résultats différents . Certains programmes sont davantage basés sur des règles , tandis que d’autres utilisent un pourcentage plus faible de données provenant de catégories de textes spécifiques, explique Jacquesson . En général, la plupart des programmes modernes affichent une précision moyenne de 95 à 97 %, avec moins de 1 % de faux positifs. Cependant, une marge d’ erreur subsiste .
Le taux de précision dépend de la longueur et du style du texte . Il doit comporter au moins 300 à 400 mots , ou 200 mots pour un poème . Un texte court, surtout s’il ne comporte que quelques lignes, ne peut être évalué avec la même précision . C’est pourquoi , d’après l’ article , le niveau de confiance du programme varie en fonction de la longueur du texte d’entrée .
L’ article indique qu’aucun programme ne sera jamais précis à 100 %, car les langages et les IA évoluent constamment . Dans le domaine de l’éducation , il est recommandé aux enseignants de considérer cette technologie comme une piste pour demander des précisions à l’élève , plutôt que comme une réponse absolue. Ainsi, le détecteur d’IA est un outil qui exige un esprit critique. À l’instar d’ un détecteur de fumée , il ne peut qu’alerter sur les problèmes potentiels .
