Как обнаружить плагиат ChatGPT и почему это так сложно

Чат-боты сейчас в моде, и ЧатGPT является главным среди них. Но благодаря тому, насколько сильны и человечны его ответы, ученые, преподаватели и редакторы имеют дело с растущей волной плагиата и мошенничества, создаваемых ИИ. Ваши старые инструменты обнаружения плагиата могут оказаться недостаточными, чтобы отличить настоящее от подделки.

В этой статье я немного расскажу об этой кошмарной стороне чат-ботов с искусственным интеллектом, проверю несколько онлайн-инструментов для обнаружения плагиата и расскажу, насколько ужасной стала ситуация.

Множество вариантов обнаружения

Последний выпуск стартапа за ноябрь 2022 г. ChatGPT от OpenAI в основном выдвинул мастерство чат-бота в центр внимания. Это позволяло любому обычному человеку (или любому профессионалу) создавать умные, понятные эссе или статьи и решать текстовые математические задачи. Для неосведомленного или неопытного читателя контент, созданный ИИ, может довольно легко сойти за законное произведение, поэтому ученики его любят, а учителя ненавидят.

Большой проблемой с инструментами для письма ИИ является их обоюдоострая способность использовать естественный язык и грамматику для создания уникального и почти индивидуального контента, даже если сам контент был взят из база данных. Это означает, что гонка за то, чтобы победить читерство на основе ИИ, началась. Вот несколько вариантов, которые я нашел, которые доступны прямо сейчас бесплатно.

Выходной детектор GPT-2 исходит прямо от разработчика ChatGPT OpenAI, чтобы продемонстрировать, что у него есть бот, способный обнаруживать текст чат-бота. Output Detector прост в использовании — пользователям просто нужно ввести текст в текстовое поле, и инструмент немедленно предоставит свою оценку того, насколько вероятно, что текст был написан человеком или нет.

Еще два инструмента с чистым пользовательским интерфейсом: Детектор контента с искусственным интеллектом писателя и Контент в масштабе. Вы можете либо добавить URL-адрес для сканирования содержимого (только для записи), либо вручную добавить текст. Результатам присваивается процентная оценка вероятности того, что контент создан человеком.

GPTZero — это самодельный бета-инструмент, размещенный на Streamlit и созданный студентом Принстонского университета Эдвардом Зеном. Он отличается от остальных тем, как модель «альгиатизма» (плагиата с помощью ИИ) представляет свои результаты. GPTZero разбивает метрики на недоумение и взрывоопасность. Взрывность измеряет общую случайность для всех предложений в тексте, в то время как недоумение измеряет случайность в предложении. Инструмент присваивает номер обеим метрикам — чем меньше число, тем больше вероятность того, что текст был создан ботом.

Просто для удовольствия, я включил Комната для тестирования гигантской языковой модели (GLTR), разработанная исследователями из MIT-IBM Watson AI Lab и Гарвардской группы обработки естественного языка. Как и GPTZero, он не представляет свои окончательные результаты как четкое различие между «человеком» и «ботом». GLTR в основном использует ботов для идентификации текста, написанного ботами, поскольку боты с меньшей вероятностью выбирают непредсказуемые слова. Поэтому результаты представлены в виде гистограммы с цветовой кодировкой, ранжирующей текст, созданный ИИ, по сравнению с текстом, созданным человеком. Чем больше количество непредсказуемого текста, тем больше вероятность, что текст написан человеком.

Тестирование

Все эти параметры могут заставить вас думать, что мы находимся в хорошем состоянии с обнаружением ИИ. Но чтобы проверить реальную эффективность каждого из этих инструментов, я хотел испытать их на себе. Итак, я запустил пару примеров абзацев, написанных в ответ на вопросы, которые я также задавал, в данном случае ChatGPT.

Мой первый вопрос был простым: почему покупка готового ПК осуждается? Вот как мои собственные ответы сравниваются с ответом ChatGPT.

Как видите, большинство этих приложений смогли сказать, что мои слова были искренними, причем первые три оказались наиболее точными. Но ChatGPT также обманул большинство этих приложений-детекторов своим ответом. Во-первых, в приложении Writer AI Content Detector он набрал 99 % человек, а детектор на основе GPT пометил всего 36 % фальшивкой. GLTR был самым большим нарушителем, утверждая, что мои собственные слова с такой же вероятностью могут быть написаны человеком, как и слова ChatGPT.

Однако я решил попробовать еще раз, и на этот раз ответы были значительно улучшены. Я попросил ChatGPT предоставить краткий обзор исследования Швейцарского федерального технологического института в области защиты от запотевания с использованием золотых частиц. В этом примере приложения-детекторы намного лучше справились с утверждением моего собственного ответа и обнаружением ChatGPT.

Три верхних теста действительно показали свою силу в этом ответе. И хотя GLTR все еще с трудом воспринимал мое собственное письмо как человеческое, по крайней мере, на этот раз ему удалось поймать ChatGPT.

Закрытие

Из результатов каждого запроса видно, что онлайн-детекторы плагиата не идеальны. Для более сложных ответов или фрагментов письма (например, в случае моей второй подсказки) это немного проще. для этих приложений, чтобы обнаружить письмо на основе ИИ, в то время как более простые ответы гораздо сложнее вывести. Но ясно, что это не то, что я бы назвал надежным. Иногда эти инструменты-детекторы ошибочно классифицируют статьи или эссе как сгенерированные ChatGPT, что является проблемой для учителей или редакторов, которые хотят полагаться на них для поимки мошенников.

Разработчики постоянно настраивают точность и количество ложных срабатываний, но они также готовятся к появлению GPT-3, который рекламирует значительно улучшенный набор данных и более сложные возможности, чем GPT-2 (из которых ChatGPT обучен от).

На этом этапе, чтобы идентифицировать контент, созданный ИИ, редакторам и преподавателям необходимо будет сочетать рассудительность и немного человеческой интуиции с одним (или несколькими) из этих детекторов ИИ. А для пользователей чат-ботов, которые имеют или хотят использовать чат-боты, такие как Chatsonic, ChatGPT, Notion или YouChat, чтобы выдать свою «работу» за законную — пожалуйста, не делайте этого. Повторное использование контента, созданного ботом (источником которого являются фиксированные источники в его базе данных), по-прежнему является плагиатом, независимо от того, как вы на это смотрите.

Рекомендации редакции

• Google Bard теперь может говорить, но сможет ли он заглушить ChatGPT?
• ChatGPT: последние новости, споры и советы, которые вам нужно знать
• Функция просмотра Bing в ChatGPT отключена из-за уязвимости платного доступа
• 81% считают, что ChatGPT представляет угрозу безопасности, согласно опросу
• Конкурент Apple ChatGPT может автоматически писать код для вас

Обновите свой образ жизниDigital Trends помогает читателям быть в курсе быстро меняющегося мира технологий благодаря всем последним новостям, забавным обзорам продуктов, проницательным редакционным статьям и единственным в своем роде кратким обзорам.