Wie man ChatGPT-Plagiate erkennt und warum es so schwierig ist

Chatbots sind im Moment ein heißes Zeug, und ChatGPT ist der wichtigste unter ihnen. Doch dank der kraftvollen und menschenähnlichen Antworten müssen sich Wissenschaftler, Pädagogen und Redakteure alle mit der steigenden Flut von KI-generierten Plagiaten und Betrugsversuchen auseinandersetzen. Ihre alten Tools zur Plagiatserkennung reichen möglicherweise nicht aus, um die Echtheit von der Fälschung zu unterscheiden.

In diesem Artikel spreche ich ein wenig über diese alptraumhafte Seite von KI-Chatbots, schaue mir einige Online-Tools zur Plagiatserkennung an und untersuche, wie schlimm die Situation geworden ist.

Viele Erkennungsmöglichkeiten

Die neueste Veröffentlichung des Startups vom November 2022 ChatGPT von OpenAI hat im Grunde die Chatbot-Fähigkeiten ins Rampenlicht gerückt. Es ermöglichte jedem normalen Joe (oder jedem Profi), intelligente, verständliche Aufsätze oder Artikel zu verfassen und textbasierte mathematische Probleme zu lösen. Für den ahnungslosen oder unerfahrenen Leser können die von der KI erstellten Inhalte leicht als seriöse Schrift durchgehen, weshalb Schüler sie lieben – und Lehrer sie hassen.

Eine große Herausforderung bei KI-Schreibwerkzeugen ist ihre zweischneidige Fähigkeit, natürliche Sprache zu verwenden und Grammatik zum Erstellen einzigartiger und nahezu individualisierter Inhalte, selbst wenn der Inhalt selbst aus einem stammt Datenbank. Das bedeutet, dass der Wettlauf um die Bekämpfung von KI-basiertem Betrug eröffnet ist. Hier sind einige Optionen, die ich gefunden habe und die derzeit kostenlos verfügbar sind.

GPT-2-Ausgangsdetektor kommt direkt vom ChatGPT-Entwickler OpenAI und zeigt, dass es einen Bot gibt, der Chatbot-Text erkennen kann. Output Detector ist einfach zu verwenden – Benutzer müssen lediglich Text in ein Textfeld eingeben und das Tool gibt sofort eine Einschätzung ab, wie wahrscheinlich es ist, dass der Text von einem Menschen stammt oder nicht.

Zwei weitere Tools mit sauberen Benutzeroberflächen sind Writer AI Content Detector Und Inhalt im Maßstab. Sie können entweder eine URL zum Scannen des Inhalts hinzufügen (nur Writer) oder manuell Text hinzufügen. Die Ergebnisse erhalten eine prozentuale Bewertung, die angibt, wie wahrscheinlich es ist, dass der Inhalt von Menschen erstellt wurde.

GPTZero ist ein selbst erstelltes Beta-Tool, das auf Streamlit gehostet und vom Studenten der Princeton University, Edward Zen, erstellt wurde. Es unterscheidet sich von den anderen darin, wie das Modell „Algiarismus“ (KI-gestütztes Plagiat) seine Ergebnisse präsentiert. GPTZero zerlegt die Metriken in Verwirrung und Unruhe. Burstiness misst die allgemeine Zufälligkeit für alle Sätze in einem Text, während Perplexity die Zufälligkeit in einem Satz misst. Das Tool weist beiden Metriken eine Zahl zu – je niedriger die Zahl, desto größer ist die Wahrscheinlichkeit, dass der Text von einem Bot erstellt wurde.

Nur zum Spaß habe ich es hinzugefügt Riesiger Testraum für Sprachmodelle (GLTR), entwickelt von Forschern des MIT-IBM Watson AI Lab und der Harvard Natural Language Processing Group. Wie GPTZero präsentiert es seine Endergebnisse nicht als klare Unterscheidung zwischen „Mensch“ und „Bot“. GLTR verwendet Bots grundsätzlich, um von Bots geschriebenen Text zu identifizieren, da Bots weniger wahrscheinlich unvorhersehbare Wörter auswählen. Daher werden die Ergebnisse als farbcodiertes Histogramm dargestellt, das KI-generierten Text im Vergleich zu menschlich generiertem Text einordnet. Je größer die Menge an unvorhersehbarem Text ist, desto wahrscheinlicher ist es, dass der Text von einem Menschen stammt.

Stellen Sie sie auf die Probe

All diese Optionen könnten den Eindruck erwecken, dass wir mit der KI-Erkennung auf einem guten Weg sind. Aber um die tatsächliche Wirksamkeit jedes dieser Tools zu testen, wollte ich es selbst ausprobieren. Also habe ich ein paar Beispielabsätze geschrieben, die ich als Antwort auf Fragen geschrieben habe, die ich in diesem Fall auch an ChatGPT gestellt habe.

Meine erste Frage war einfach: Warum ist der Kauf eines vorgefertigten PCs verpönt? Hier sehen Sie, wie meine eigenen Antworten mit der Antwort von ChatGPT verglichen werden.

Wie Sie sehen, konnten die meisten dieser Apps erkennen, dass meine Worte echt waren, wobei die ersten drei am zutreffendsten waren. Aber ChatGPT hat mit seiner Reaktion auch die meisten dieser Detektor-Apps getäuscht. Zunächst einmal erzielte es in der Writer AI Content Detector-App einen 99 %igen Treffer und wurde vom GPT-basierten Detektor nur zu 36 % als gefälscht eingestuft. GLTR war der größte Übeltäter und behauptete, dass meine eigenen Worte mit gleicher Wahrscheinlichkeit von einem Menschen geschrieben worden seien wie die Worte von ChatGPT.

Ich beschloss jedoch, es noch einmal zu versuchen, und dieses Mal waren die Reaktionen deutlich besser. Ich habe ChatGPT gebeten, eine Zusammenfassung der Forschung der Eidgenössischen Technischen Hochschule zum Thema Antibeschlag mit Goldpartikeln bereitzustellen. In diesem Beispiel haben die Detektor-Apps meine eigene Antwort viel besser genehmigt und ChatGPT erkannt.

Die besten drei Tests zeigten in dieser Reaktion wirklich ihre Stärke. Und obwohl es GLTR immer noch schwerfiel, mein eigenes Schreiben als menschlich zu betrachten, konnte es ChatGPT dieses Mal zumindest gut einfangen.

Schließen

Aus den Ergebnissen jeder Abfrage geht hervor, dass Online-Plagiatsdetektoren nicht perfekt sind. Bei komplexeren Antworten oder Textstücken (wie im Fall meiner zweiten Aufforderung) ist es etwas einfacher Diese Apps erkennen das KI-basierte Schreiben, während die einfacheren Antworten viel schwieriger zu erkennen sind ableiten. Aber es ist offensichtlich nicht das, was ich als zuverlässig bezeichnen würde. Gelegentlich klassifizieren diese Erkennungstools Artikel oder Aufsätze fälschlicherweise als ChatGPT-generiert, was ein Problem für Lehrer oder Redakteure darstellt, die sich darauf verlassen möchten, dass sie Betrüger aufspüren.

Entwickler optimieren ständig die Genauigkeit und Falsch-Positiv-Raten, bereiten sich aber auch auf die Einführung von vor GPT-3, das einen deutlich verbesserten Datensatz und komplexere Funktionen bietet als GPT-2 (wovon ChatGPT trainiert wird). aus).

An diesem Punkt müssen Redakteure und Pädagogen, um von KI generierte Inhalte zu identifizieren, Urteilsvermögen und ein wenig menschliche Intuition mit einem (oder mehreren) dieser KI-Detektoren kombinieren. Und für Chatbot-Benutzer, die Chatbots wie Chatsonic, ChatGPT, Notion oder YouChat verwenden oder versucht haben, ihre „Arbeit“ als legitim auszugeben – tun Sie dies bitte nicht. Die Wiederverwendung von Inhalten, die von einem Bot erstellt wurden (der aus festen Quellen in seiner Datenbank schöpft), ist immer noch ein Plagiat, egal wie man es betrachtet.

Empfehlungen der Redaktion

• Google Bard kann jetzt sprechen, aber kann es ChatGPT übertönen?
• ChatGPT: die neuesten Nachrichten, Kontroversen und Tipps, die Sie wissen müssen
• Die Bing-Browsing-Funktion von ChatGPT wurde aufgrund eines Paywall-Zugriffsfehlers deaktiviert
• Laut einer Umfrage halten 81 % ChatGPT für ein Sicherheitsrisiko
• Der ChatGPT-Konkurrent von Apple schreibt möglicherweise automatisch Code für Sie

Werten Sie Ihren Lebensstil aufDigital Trends hilft Lesern mit den neuesten Nachrichten, unterhaltsamen Produktrezensionen, aufschlussreichen Leitartikeln und einzigartigen Einblicken, den Überblick über die schnelllebige Welt der Technik zu behalten.