Como detectar plágio do ChatGPT e por que é tão difícil

Os chatbots estão em alta no momento e ChatGPT é o principal entre eles. Mas, graças ao quão poderosas e humanas são suas respostas, acadêmicos, educadores e editores estão todos lidando com a crescente onda de plágio e trapaça gerados por IA. Suas antigas ferramentas de detecção de plágio podem não ser suficientes para distinguir o verdadeiro do falso.

Neste artigo, falo um pouco sobre esse lado de pesadelo dos chatbots de IA, verifico algumas ferramentas de detecção de plágio online e exploro o quão terrível a situação se tornou.

Muitas opções de detecção

A última versão de novembro de 2022 da startup ChatGPT da OpenAI basicamente colocou as proezas do chatbot no centro das atenções. Permitia que qualquer Joe comum (ou qualquer profissional) gerasse ensaios ou artigos inteligentes e inteligíveis e resolvesse problemas matemáticos baseados em texto. Para o leitor desavisado ou inexperiente, o conteúdo criado pela IA pode facilmente passar por um texto legítimo, e é por isso que os alunos adoram – e os professores odeiam.

Um grande desafio com ferramentas de escrita de IA é sua habilidade de espada de dois gumes para usar linguagem natural e gramática para construir um conteúdo único e quase individualizado, mesmo que o próprio conteúdo tenha sido extraído de um base de dados. Isso significa que a corrida para vencer a trapaça baseada em IA começou. Aqui estão algumas opções que encontrei e que estão disponíveis agora gratuitamente.

Detector de Saída GPT-2 vem direto do desenvolvedor do ChatGPT, OpenAI, para demonstrar que possui um bot capaz de detectar o texto do chatbot. O Output Detector é fácil de usar - os usuários só precisam inserir texto em um campo de texto e a ferramenta fornecerá imediatamente sua avaliação de quão provável é que o texto tenha vindo de um ser humano ou não.

Mais duas ferramentas que possuem UIs limpas são Detector de conteúdo do Writer AI e Conteúdo em escala. Você pode adicionar um URL para verificar o conteúdo (somente gravador) ou adicionar texto manualmente. Os resultados recebem uma pontuação percentual de quão provável é que o conteúdo seja gerado por humanos.

GPTZero é uma ferramenta beta caseira hospedada no Streamlit e criada pelo estudante da Universidade de Princeton, Edward Zen. É diferente do resto na forma como o modelo de “algarismo” (plágio assistido por IA) apresenta seus resultados. GPTZero divide as métricas em perplexidade e estouro. Burstiness mede a aleatoriedade geral para todas as frases em um texto, enquanto a perplexidade mede a aleatoriedade em uma frase. A ferramenta atribui um número a ambas as métricas — quanto menor o número, maior a possibilidade de o texto ter sido criado por um bot.

Apenas por diversão, eu incluí Sala de Teste de Modelo de Linguagem Gigante (GLTR), desenvolvido por pesquisadores do MIT-IBM Watson AI Lab e Harvard Natural Language Processing Group. Assim como o GPTZero, ele não apresenta seus resultados finais como uma clara distinção entre “humano” ou “bot”. O GLTR basicamente usa bots para identificar o texto escrito por bots, já que os bots são menos propensos a selecionar palavras imprevisíveis. Portanto, os resultados são apresentados como um histograma codificado por cores, classificando o texto gerado por IA em relação ao texto gerado por humanos. Quanto maior a quantidade de texto imprevisível, mais provável é que o texto seja de um humano.

Colocando-os à prova

Todas essas opções podem fazer você pensar que estamos em um bom lugar com a detecção de IA. Mas para testar a eficácia real de cada uma dessas ferramentas, eu queria experimentar por mim mesmo. Então, executei alguns parágrafos de amostra que escrevi em resposta a perguntas que também fiz, neste caso, ChatGPT.

Minha primeira pergunta foi simples: por que a compra de um PC pré-montado é desaprovada? Veja como minhas próprias respostas se comparam à resposta do ChatGPT.

Como você pode ver, a maioria desses aplicativos poderia dizer que minhas palavras eram genuínas, sendo as três primeiras as mais precisas. Mas o ChatGPT enganou a maioria desses aplicativos detectores com sua resposta também. Ele obteve 99% de humano no aplicativo Writer AI Content Detector, para começar, e foi marcado como apenas 36% falso pelo detector baseado em GPT. GLTR foi o maior ofensor, alegando que minhas próprias palavras tinham a mesma probabilidade de serem escritas por um humano do que as palavras do ChatGPT.

Decidi tentar mais uma vez e, desta vez, as respostas melhoraram significativamente. Pedi ao ChatGPT para fornecer um resumo da pesquisa do Instituto Federal Suíço de Tecnologia sobre antiembaçamento usando partículas de ouro. Neste exemplo, os aplicativos detectores fizeram um trabalho muito melhor ao aprovar minha própria resposta e detectar o ChatGPT.

Os três primeiros testes realmente mostraram sua força nesta resposta. E embora o GLTR ainda tenha dificuldade em ver minha própria escrita como humana, pelo menos foi bom pegar o ChatGPT dessa vez.

fechando

É óbvio pelos resultados de cada consulta que os detectores de plágio online não são perfeitos. Para respostas ou textos mais complexos (como no caso do meu segundo prompt), é um pouco mais fácil para que esses aplicativos detectem a escrita baseada em IA, enquanto as respostas mais simples são muito mais difíceis de deduzir. Mas claramente, não é o que eu chamaria de confiável. Ocasionalmente, essas ferramentas de detecção classificam erroneamente artigos ou ensaios como gerados pelo ChatGPT, o que é um problema para professores ou editores que desejam confiar neles para detectar trapaceiros.

Os desenvolvedores estão constantemente ajustando a precisão e as taxas de falsos positivos, mas também estão se preparando para a chegada de O GPT-3, que apresenta um conjunto de dados significativamente aprimorado e recursos mais complexos do que o GPT-2 (do qual o ChatGPT é treinado de).

Nesse ponto, para identificar o conteúdo gerado por IAs, editores e educadores precisarão combinar criteriosidade e um pouco de intuição humana com um (ou mais) desses detectores de IA. E para usuários de chatbot que têm ou estão tentados a usar chatbots como Chatsonic, ChatGPT, Notion ou YouChat para passar seu “trabalho” como legítimo – por favor, não o faça. A reutilização de conteúdo criado por um bot (que se origina de fontes fixas em seu banco de dados) ainda é plágio, não importa como você olhe para ele.

Recomendações dos editores

• O Google Bard agora pode falar, mas pode abafar o ChatGPT?
• ChatGPT: as últimas notícias, polêmicas e dicas que você precisa saber
• O recurso de navegação Bing do ChatGPT foi desativado devido a uma falha de acesso pago
• 81% acham que o ChatGPT é um risco à segurança, segundo pesquisa
• Rival do ChatGPT da Apple pode escrever código automaticamente para você

Atualize seu estilo de vidaO Digital Trends ajuda os leitores a acompanhar o mundo acelerado da tecnologia com as últimas notícias, análises divertidas de produtos, editoriais perspicazes e prévias exclusivas.