Comment détecter le plagiat ChatGPT et pourquoi c'est si difficile

Les chatbots sont en vogue en ce moment, et ChatGPT est le chef d'entre eux. Mais grâce à la puissance et à l'aspect humain de ses réponses, les universitaires, les éducateurs et les éditeurs sont tous confrontés à la marée montante du plagiat et de la tricherie générés par l'IA. Vos anciens outils de détection de plagiat ne suffiront peut-être pas à démêler le vrai du faux.

Dans cet article, je parle un peu de ce côté cauchemardesque des chatbots IA, découvre quelques outils de détection de plagiat en ligne et explore à quel point la situation est devenue désastreuse.

Beaucoup d'options de détection

La dernière version de novembre 2022 de startup ChatGPT d'OpenAI a essentiellement propulsé les prouesses du chatbot sous les feux de la rampe. Il a permis à n'importe quel Joe ordinaire (ou à n'importe quel professionnel) de générer des essais ou des articles intelligents et intelligibles et de résoudre des problèmes mathématiques basés sur du texte. Pour le lecteur inconscient ou inexpérimenté, le contenu créé par l'IA peut très facilement passer pour un écrit légitime, c'est pourquoi les étudiants l'adorent - et les enseignants le détestent.

Un grand défi avec les outils d'écriture d'IA est leur capacité à double tranchant à utiliser le langage naturel et grammaire pour construire un contenu unique et presque individualisé même si le contenu lui-même a été tiré d'un base de données. Cela signifie que la course pour vaincre la triche basée sur l'IA est lancée. Voici quelques options que j'ai trouvées et qui sont disponibles gratuitement dès maintenant.

Détecteur de sortie GPT-2 vient directement du développeur ChatGPT OpenAI pour démontrer qu'il a un bot capable de détecter le texte du chatbot. Output Detector est facile à utiliser - les utilisateurs n'ont qu'à saisir du texte dans un champ de texte et l'outil fournira immédiatement son évaluation de la probabilité que le texte provienne d'un humain ou non.

Deux autres outils dotés d'interfaces utilisateur propres sont Détecteur de contenu Writer AI et Contenu à grande échelle. Vous pouvez soit ajouter une URL pour analyser le contenu (rédacteur uniquement), soit ajouter manuellement du texte. Les résultats reçoivent un pourcentage de la probabilité que le contenu soit généré par l'homme.

GPTZéro est un outil bêta maison hébergé sur Streamlit et créé par Edward Zen, étudiant à l'Université de Princeton. Il diffère des autres dans la façon dont le modèle « algiarism » (plagiat assisté par l'IA) présente ses résultats. GPTZero décompose les métriques en perplexité et rafale. La rafale mesure le caractère aléatoire global de toutes les phrases d'un texte, tandis que la perplexité mesure le caractère aléatoire d'une phrase. L'outil attribue un nombre aux deux métriques - plus le nombre est faible, plus il est possible que le texte ait été créé par un bot.

Juste pour le plaisir, j'ai inclus Salle de test du modèle de langage géant (GLTR), développé par des chercheurs du MIT-IBM Watson AI Lab et du Harvard Natural Language Processing Group. Comme GPTZero, il ne présente pas ses résultats finaux comme une distinction claire entre "humain" ou "bot". GLTR utilise essentiellement des bots pour identifier le texte écrit par des bots, car les bots sont moins susceptibles de sélectionner des mots imprévisibles. Par conséquent, les résultats sont présentés sous la forme d'un histogramme à code couleur, classant le texte généré par l'IA par rapport au texte généré par l'homme. Plus la quantité de texte imprévisible est importante, plus il est probable que le texte provienne d'un humain.

Les mettre à l'épreuve

Toutes ces options pourraient vous faire penser que nous sommes bien placés avec la détection de l'IA. Mais pour tester l'efficacité réelle de chacun de ces outils, j'ai voulu l'essayer par moi-même. J'ai donc rédigé quelques exemples de paragraphes que j'ai écrits en réponse à des questions que j'ai également posées, dans ce cas, à ChatGPT.

Ma première question était simple: pourquoi l'achat d'un PC préconstruit est-il mal vu? Voici comment mes propres réponses par rapport à la réponse de ChatGPT.

Comme vous pouvez le voir, la plupart de ces applications pouvaient dire que mes paroles étaient authentiques, les trois premières étant les plus précises. Mais ChatGPT a également trompé la plupart de ces applications de détection avec sa réponse. Il a obtenu un score humain de 99 % sur l'application Writer AI Content Detector, pour commencer, et n'a été marqué qu'à 36 % de faux par un détecteur basé sur GPT. GLTR était le plus grand contrevenant, affirmant que mes propres mots étaient tout aussi susceptibles d'être écrits par un humain que les mots de ChatGPT.

J'ai décidé de lui donner un coup de plus, cependant, et cette fois, les réponses ont été considérablement améliorées. J'ai demandé à ChatGPT de fournir un résumé des recherches de l'EPF sur l'anti-buée à l'aide de particules d'or. Dans cet exemple, les applications de détection ont fait un bien meilleur travail pour approuver ma propre réponse et détecter ChatGPT.

Les trois meilleurs tests ont vraiment montré leur force dans cette réponse. Et tandis que GLTR avait encore du mal à voir ma propre écriture comme humaine, au moins cela a fait du bien d'attraper ChatGPT cette fois.

Fermeture

Il ressort clairement des résultats de chaque requête que les détecteurs de plagiat en ligne ne sont pas parfaits. Pour des réponses ou des écrits plus complexes (comme dans le cas de ma deuxième invite), c'est un peu plus facile pour que ces applications détectent l'écriture basée sur l'IA, tandis que les réponses les plus simples sont beaucoup plus difficiles à déduire. Mais clairement, ce n'est pas ce que j'appellerais fiable. Parfois, ces outils de détection classeront à tort des articles ou des essais comme étant générés par ChatGPT, ce qui est un problème pour les enseignants ou les éditeurs qui souhaitent s'appuyer sur eux pour attraper les tricheurs.

Les développeurs affinent constamment la précision et les taux de faux positifs, mais ils se préparent également à l'arrivée de GPT-3, qui vante un ensemble de données considérablement amélioré et des capacités plus complexes que GPT-2 (dont ChatGPT est formé depuis).

À ce stade, afin d'identifier le contenu généré par les IA, les éditeurs et les éducateurs devront combiner la judicieuseté et un peu d'intuition humaine avec un (ou plusieurs) de ces détecteurs d'IA. Et pour les utilisateurs de chatbot qui ont ou sont tentés d'utiliser des chatbots tels que Chatsonic, ChatGPT, Notion ou YouChat pour faire passer leur "travail" comme légitime - s'il vous plaît ne le faites pas. La réutilisation du contenu créé par un bot (qui s'approvisionne à partir de sources fixes dans sa base de données) est toujours du plagiat, peu importe comment vous le regardez.

Recommandations des éditeurs

• Google Bard peut désormais parler, mais peut-il noyer ChatGPT?
• ChatGPT: les dernières actualités, controverses et astuces à connaître
• La fonctionnalité de navigation Bing de ChatGPT est désactivée en raison d'une faille d'accès au mur payant
• 81 % pensent que ChatGPT est un risque pour la sécurité, selon une enquête
• Le rival ChatGPT d'Apple peut automatiquement écrire du code pour vous

Améliorez votre style de vieDigital Trends aide les lecteurs à garder un œil sur le monde trépidant de la technologie avec toutes les dernières nouvelles, des critiques de produits amusantes, des éditoriaux perspicaces et des aperçus uniques.