ChatGPT-plagioinnin havaitseminen ja miksi se on niin vaikeaa

Chatbotit ovat kuumia juttuja tällä hetkellä, ja ChatGPT on päällikkö heistä. Mutta sen reaktioiden voimakkuuden ja inhimillisyyden ansiosta tutkijat, opettajat ja toimittajat ovat kaikki tekemisissä tekoälyn tuottaman plagioinnin ja huijaamisen nousevan tulvan kanssa. Vanhat plagioinnin havaitsemistyökalut eivät ehkä riitä erottamaan aitoa väärennöksestä.

Tässä artikkelissa puhun hieman tästä painajaismaisesta AI-chatbottien puolelta, tutustun muutamiin plagioinnin havaitsemistyökaluihin verkossa ja tutkin kuinka pahaksi tilanteesta on tullut.

Paljon tunnistusvaihtoehtoja

Uusin marraskuun 2022 julkaisu käynnistyksestä OpenAI: n ChatGPT pohjimmiltaan työnsi chatbotin kyvykkyyden parrasvaloihin. Sen avulla jokainen tavallinen Joe (tai ammattilainen) pystyi luomaan älykkäitä, ymmärrettäviä esseitä tai artikkeleita ja ratkaisemaan tekstipohjaisia ​​matemaattisia ongelmia. Tietämättömälle tai kokemattomalle lukijalle tekoälyn luoma sisältö voi helposti siirtyä laillisena kirjoituksena, minkä vuoksi oppilaat rakastavat sitä – ja opettajat vihaavat sitä.

Tekoälykirjoitustyökalujen suuri haaste on niiden kaksiteräinen miekka kyky käyttää luonnollista kieltä ja kielioppi ainutlaatuisen ja lähes yksilöllisen sisällön rakentamiseksi, vaikka itse sisältö olisi peräisin a tietokanta. Tämä tarkoittaa, että kilpailu tekoälypohjaisen huijauksen voittamisesta on käynnissä. Tässä on muutamia löytämiäni vaihtoehtoja, jotka ovat tällä hetkellä saatavilla ilmaiseksi.

GPT-2-lähtöilmaisin tulee suoraan ChatGPT-kehittäjä OpenAI: lta osoittaakseen, että sillä on botti, joka pystyy havaitsemaan chatbotin tekstin. Output Detector on helppokäyttöinen – käyttäjien tarvitsee vain kirjoittaa tekstiä tekstikenttään ja työkalu antaa välittömästi arvion siitä, kuinka todennäköistä on, että teksti on peräisin ihmiseltä vai ei.

Kaksi muuta työkalua, joilla on puhtaat käyttöliittymät, ovat Writer AI Content Detector ja Sisältö mittakaavassa. Voit joko lisätä URL-osoitteen sisällön skannausta varten (vain kirjoittaja) tai lisätä tekstiä manuaalisesti. Tuloksille annetaan prosenttiosuus siitä, kuinka todennäköistä on, että sisältö on ihmisen luomaa.

GPTZero on Streamlitissa isännöimä kotitekoinen beetatyökalu, jonka on luonut Princetonin yliopiston opiskelija Edward Zen. Se eroaa muista siinä, miten "algiarismi" (AI-avusteinen plagiointi) -malli esittää tulokset. GPTZero jakaa mittarit hämmentyneeksi ja murskaukseksi. Purskeus mittaa tekstin kaikkien lauseiden yleistä satunnaisuutta, kun taas hämmennys mittaa lauseen satunnaisuutta. Työkalu määrittää numeron molemmille mittareille – mitä pienempi numero, sitä suurempi mahdollisuus, että tekstin on luonut botti.

Ihan huvin vuoksi, otin mukaan Jättiläinen kielimallin testihuone (GLTR), jonka ovat kehittäneet MIT-IBM Watson AI Labin ja Harvard Natural Language Processing Groupin tutkijat. Kuten GPTZero, se ei esitä lopullisia tuloksiaan selkeänä "ihmisen" tai "botin" erona. GLTR käyttää periaatteessa botteja robottien kirjoittaman tekstin tunnistamiseen, koska robotit valitsevat epätodennäköisemmin arvaamattomia sanoja. Siksi tulokset esitetään värikoodattuina histogrammina, joka luokittelee tekoälyn luoman tekstin ihmisen luomaan tekstiin verrattuna. Mitä enemmän arvaamatonta tekstiä on, sitä todennäköisemmin teksti on peräisin ihmiseltä.

Laittamalla ne koetukselle

Kaikki nämä vaihtoehdot saattavat saada sinut ajattelemaan, että olemme hyvässä paikassa tekoälytunnistuksen suhteen. Mutta testatakseni näiden työkalujen todellista tehokkuutta, halusin kokeilla sitä itse. Joten tein muutaman esimerkkikappaleen, jotka kirjoitin vastauksena kysymyksiin, jotka esitin myös tässä tapauksessa ChatGPT: lle.

Ensimmäinen kysymykseni oli yksinkertainen: Miksi valmiiksi rakennetun PC: n ostaminen paheksuu? Näin omat vastaukseni verrattuna ChatGPT: n vastaukseen.

Kuten näet, useimmat näistä sovelluksista saattoivat kertoa, että sanani olivat aitoja, ja kolme ensimmäistä olivat tarkimmat. Mutta ChatGPT huijasi useimmat näistä ilmaisinsovelluksista myös vastauksellaan. Se sai 99 % ihmisen arvosanan Writer AI Content Detector -sovelluksessa aluksi, ja GPT-pohjainen ilmaisin merkitsi sen väärennökseksi vain 36 %. GLTR oli suurin loukkaaja väittäen, että omat sanani olivat yhtä todennäköisesti ihmisen kirjoittamia kuin ChatGPT: n sanat.

Päätin kuitenkin antaa sille vielä kerran, ja tällä kertaa vastaukset paranivat huomattavasti. Pyysin ChatGPT: tä toimittamaan yhteenvedon Sveitsin liittovaltion teknologiainstituutin tutkimuksesta, joka koskee huurtumisen estämistä kultahiukkasten avulla. Tässä esimerkissä ilmaisinsovellukset tekivät paljon paremmin oman vastaukseni hyväksymisen ja ChatGPT: n havaitsemisen.

Kolme parasta testiä osoittivat todella vahvuutensa tässä vastauksessa. Ja vaikka GLTR: llä oli edelleen vaikeuksia nähdä omaa kirjoitustani ihmisenä, se onnistui ainakin tällä kertaa saamaan ChatGPT: n kiinni.

Sulkeminen

Jokaisen kyselyn tuloksista on selvää, että online-plagiaatintunnistimet eivät ole täydellisiä. Monimutkaisempien vastausten tai kirjoitusten (kuten toisen kehotteeni) kohdalla se on hieman helpompaa Nämä sovellukset voivat havaita tekoälypohjaisen kirjoittamisen, kun taas yksinkertaisempia vastauksia on paljon vaikeampi havaita päätellä. Mutta selvästikään, se ei ole se, mitä kutsuisin luotettavaksi. Toisinaan nämä tunnistustyökalut luokittelevat artikkelit tai esseet väärin ChatGPT: n luomisiksi, mikä on ongelma opettajille tai toimittajille, jotka haluavat luottaa niihin huijareiden kiinni saamiseksi.

Kehittäjät hienosäätävät jatkuvasti tarkkuutta ja vääriä positiivisia lukuja, mutta he valmistautuvat myös GPT-3, jossa on huomattavasti paranneltu tietojoukko ja monimutkaisempia ominaisuuksia kuin GPT-2 (josta ChatGPT on koulutettu alkaen).

Tässä vaiheessa tekoälyn tuottaman sisällön tunnistamiseksi toimittajien ja kouluttajien on yhdistettävä järkeä ja vähän inhimillistä intuitiota yhteen (tai useampaan) näistä tekoälytunnistimista. Ja chatbot-käyttäjille, joilla on tai joilla on houkutusta käyttää chatbotteja, kuten Chatsonic, ChatGPT, Notion tai YouChat, välittääkseen "työnsä" laillisina - älä tee. Botin luoman sisällön uudelleenkäyttö (joka lähtee sen tietokannan kiinteistä lähteistä) on edelleen plagiointia riippumatta siitä, miten sitä katsoo.

Toimittajien suositukset

• Google Bard voi nyt puhua, mutta voiko se tukahduttaa ChatGPT: n?
• ChatGPT: viimeisimmät uutiset, kiistat ja vinkit, jotka sinun on tiedettävä
• ChatGPT: n Bing-selausominaisuus on poistettu käytöstä maksumuurin käyttövirheen vuoksi
• Tutkimuksen mukaan 81 % uskoo, että ChatGPT on turvallisuusriski
• Applen ChatGPT-kilpailija voi kirjoittaa koodin automaattisesti puolestasi

Päivitä elämäntapasiDigital Trends auttaa lukijoita pysymään tekniikan nopeatempoisessa maailmassa uusimpien uutisten, hauskojen tuotearvostelujen, oivaltavien toimitusten ja ainutlaatuisten kurkistusten avulla.