Могут ли детекторы ИИ спасти нас от ChatGPT? Я попробовал 3 онлайн-инструмента, чтобы узнать

Это вторая статья из серии, посвященной проблемам текста, сгенерированного искусственным интеллектом.

В этой части мы с моим приятелем по ИИ рассматриваем вопрос о том, можно ли бороться с плагиатом, созданным ИИ, и как это может работать.

Также: Что такое ChatGPT и почему это важно? Вот что вам нужно знать

Прежде чем я продолжу, нам нужно поговорить о концепции плагиата и о том, как она связана с этой проблемой. Вебстер определяет «плагиат» как «украсть и выдать (идеи или слова другого) за свои: использовать (чужое произведение) без указания источника».

Это подходит для контента, созданного ИИ. Хотя кто-то, использующий инструмент ИИ, такой как Notion AI или ChatGPT, не ворует контент, если этот человек не считает слова исходящими от ИИ и называет их своими, это все равно соответствует словарному определению плагиата.

ZDNET рекомендует

Лучшие чат-боты с искусственным интеллектом: ChatGPT и другие интересные альтернативы, которые стоит попробовать

Чат-боты и писатели с искусственным интеллектом могут помочь облегчить вашу работу, написав электронные письма и эссе и даже занимаясь математикой. Они используют искусственный интеллект для генерации текста или ответов на запросы на основе ввода пользователя. ChatGPT — один из популярных примеров, но есть и другие заслуживающие внимания чат-боты.

Прочитай сейчас

В этой экспериментальной статье я попросил ChatGPT помочь. Мои слова выделены обычным и жирным шрифтом. Слова ИИ выделены курсивом. Я также буду использовать три онлайн-детектора плагиата ChatGPT (более подробно я опишу их ниже). После каждого раздела, созданного ИИ, я покажу результаты детекторов. В конце статьи мы посмотрим, насколько хорошо работают детекторы в целом.

Вот результат для приведенного выше текста, который я написал сам:

• Выходной детектор GPT-2: 99,98% реальный
• Writer AI Content Detector: 100% контент, созданный людьми. Фантастика!
• Контент в масштабе AI Content Detection: 100% оценка человеческого контента. Выглядит отлично!

С этого, давайте начнем.

Объясните, почему ChatGPT может стать настоящей проблемой для учителей и редакторов, когда речь идет о плагиате.

ChatGPT — это вариант языковой модели GPT (Generative Pre-trained Transformer), разработанной OpenAI. Он предназначен для генерации человеческого текста путем предсказания следующего слова или фразы в данной входной последовательности. Хотя ChatGPT может быть полезным инструментом для создания текста и ответов на запросы, он также может стать проблемой для учителей и редакторов, когда дело доходит до плагиата.

Одна из основных причин, по которой ChatGPT может быть проблемой для учителей и редакторов, заключается в том, что он может генерировать текст, очень похожий на текст, который пишут настоящие люди. Это означает, что учащиеся или другие лица потенциально могут использовать ChatGPT для создания текста, который они затем могут отправить как свою собственную работу, тем самым совершая плагиат.

Также: Может ли помощник Notion AI написать эту статью?

Для учителей и редакторов определение того, был ли данный фрагмент текста сгенерирован ChatGPT или написан человеком, может быть очень сложным, поскольку сгенерированный текст может не содержать каких-либо явных ошибок или несоответствий, которые могли бы выявить его искусственное происхождение. Это может затруднить учителям и редакторам выявление и предотвращение плагиата, поскольку они могут быть не в состоянии определить, является ли данный фрагмент текста оригинальным или скопирован из другого источника.

В целом, ChatGPT и другие подобные языковые модели могут стать проблемой для учителей и редакторов, когда дело доходит до плагиата, поскольку они могут генерировать текст, который трудно отличить от текста, написанного людьми, что облегчает учащимся и другим лицам совершать плагиат, не подвергаясь опасности. обнаружено.

• Выходной детектор GPT-2: 99,69% реальный
• Writer AI Content Detector: 97 % контента, созданного людьми. Фантастика!
• Контент в масштабе AI Content Detection: 87% баллов человеческого контента. Хорошо выглядеть!

Помните, что текст, выделенный курсивом , был сгенерирован ИИ.

Покажите мне хотя бы три способа, с помощью которых я могу определить, что ChatGPT использовался для создания фрагмента текста.

Существует несколько способов потенциально определить, использовалась ли ChatGPT или другая языковая модель для создания фрагмента текста. Вот три возможных подхода, которые вы могли бы использовать:

1. Ищите повторяющиеся или необычные шаблоны в тексте. Один из способов определить, использовалась ли языковая модель для создания фрагмента текста, — это искать повторяющиеся или необычные шаблоны в письме. Например, языковые модели могут повторять определенные фразы или сочетания слов или использовать необычные или непоследовательные структуры предложений.
2. Проверка на отсутствие оригинальности: еще один способ определить, использовалась ли языковая модель для создания фрагмента текста, — это проверить на отсутствие оригинальности в написании. Если фрагмент текста выглядит скопированным из другого источника или если он содержит информацию, которая широко доступна в Интернете или других источниках, это может быть признаком того, что он был сгенерирован языковой моделью.
3. Используйте средство проверки на плагиат. Наконец, вы можете использовать средство проверки на плагиат, чтобы проверить, не скопирован ли фрагмент текста из другого источника. Хотя программа проверки на плагиат не может окончательно определить, использовалась ли языковая модель для создания фрагмента текста, она может помочь вам выявить случаи копирования или перефразирования из других источников.
4. Обратите внимание, когда ответ явно неверен: я говорил об этом в своем обзоре Notion AI, где я выделил некоторый текст, написанный AI с кажущимся авторитетом, но который был явно неправильным. Если студент или писатель не полностью владеет обсуждаемой темой, они могут не заметить неточности и просто оставить их в ответе, сгенерированном ИИ. Конечно, неверные утверждения — это не только прерогатива инструмента для письма ИИ. Многие блоггеры и комментаторы, например, просто повторяют заявления, сделанные другими блоггерами, создавая эхо-камеру полностью «ложных фактов», показывая, что, хотя интеллект может быть искусственным, глупость — это универсальная черта.

Имейте в виду, что может быть сложно окончательно определить, использовалась ли языковая модель для создания фрагмента текста, и эти методы не всегда могут быть эффективными. Однако они могут быть полезными инструментами, помогающими идентифицировать потенциальные экземпляры текста, сгенерированного языковой моделью.

В этом наборе тестов только содержимое, выделенное курсивом выше, было пропущено через набор средств проверки.

• Выходной детектор GPT-2: 99,98% подделка
• Writer AI Content Detector: [ нет результата ]
• Контент в масштабе AI Content Detection: 0% оценка человеческого контента. Очевидно, ИИ

Перечислите три средства проверки на плагиат, которые могут обнаруживать текст ChatGPT.

Инновации

• Я попробовал Apple Vision Pro, и он намного опередил мои ожидания
• Этот крошечный спутниковый коммуникатор наполнен множеством функций и душевным спокойствием.
• Как использовать ChatGPT: все, что вам нужно знать
• Это мои 5 любимых инструментов искусственного интеллекта для работы

Стоит отметить, что в настоящее время не существует средства проверки на плагиат, специально разработанного для обнаружения текста, сгенерированного ChatGPT или другими языковыми моделями. Хотя некоторые средства проверки на плагиат могут определить определенные характеристики текста, сгенерированного языковой моделью, которые могут указывать на его искусственное происхождение, нет гарантии, что они смогут окончательно определить, был ли фрагмент текста сгенерирован языковой моделью.

С учетом сказанного, вот три средства проверки на плагиат, которые вы можете использовать для выявления потенциальных экземпляров текста, сгенерированного языковой моделью:

1. Turnitin: Turnitin — это популярная программа для проверки на плагиат, которая широко используется в школах и университетах. Он сравнивает фрагмент текста с базой данных других текстов, чтобы выявить случаи копирования или перефразирования. Хотя он может быть не в состоянии окончательно определить, был ли фрагмент текста сгенерирован языковой моделью, он потенциально может идентифицировать определенные характеристики текста, сгенерированного языковой моделью, которые могут указывать на его искусственное происхождение.
2. PlagScan: PlagScan — еще одна программа проверки на плагиат, которая сравнивает фрагмент текста с базой данных других текстов для выявления случаев копирования или перефразирования. Как и Turnitin, он может определять определенные характеристики текста, сгенерированного языковой моделью, которые могут указывать на его искусственное происхождение, но он не предназначен специально для обнаружения текста, сгенерированного языковой моделью.
3. Copyleaks: Copyleaks — это средство проверки на плагиат, которое использует передовые алгоритмы машинного обучения для сканирования фрагмента текста и сравнения его с базой данных других текстов для выявления случаев копирования или перефразирования. Хотя он может определять определенные характеристики текста, сгенерированного языковой моделью, он не предназначен специально для обнаружения текста, сгенерированного языковой моделью.

Стоит отметить, что ни одно средство проверки на плагиат не является полностью надежным, и всегда существует вероятность того, что фрагмент текста, сгенерированный языковой моделью, может остаться незамеченным. Поэтому важно использовать средства проверки на плагиат только как часть более широкой стратегии по обнаружению и предотвращению плагиата.

• Выходной детектор GPT-2: 99,62% реального
• Writer AI Content Detector: [ нет результата ]
• Контент в масштабе AI Content Detection: 86% оценка человеческого контента. Хорошо выглядеть!

Онлайн-проверки AI на плагиат

Большинство детекторов плагиата используются для сравнения написанного с корпусом другого письма. Например, когда студент сдает эссе, такой продукт, как Turnitin, сканирует отправленное эссе с огромной библиотекой других эссе в своей базе данных, а также с другими документами и текстом в Интернете, чтобы определить, содержит ли уже отправленное эссе: письменное содержание.

Но инструменты для письма с искусственным интеллектом генерируют оригинальный контент, по крайней мере, в теории. Да, они строят свое содержание на основе того, чему их обучали, но фактические слова, которые они составляют, несколько уникальны для каждой композиции.

Также: истинная цель ИИ больше не может быть интеллектом.

Таким образом, упомянутые выше средства проверки на плагиат, вероятно, не будут работать, потому что контент, созданный ИИ, вероятно, не существовал, скажем, в работе другого студента.

Поэтому я обратился к Google и искал детекторы, специально предназначенные для поиска контрольных сигнатур контента, управляемого ИИ. Я нашел три. Для тестового контента, показанного на снимках экрана ниже, я спросил ChatGPT: «Звездный путь лучше, чем «Звездные войны»? Обоснуйте и объясните».

• Выходной детектор GPT-2: 99,98% реальный
• Writer AI Content Detector: 100% контент, созданный людьми. Фантастика!
• Контент в масштабе AI Content Detection: 100% оценка человеческого контента. Выглядит отлично!

Выходной детектор GPT-2 (точность 66%)

Этот первый инструмент был создан с использованием центра машинного обучения, управляемого нью-йоркской ИИ-компанией Hugging Face. В то время как компания получила 40 миллионов долларов на разработку своей библиотеки естественного языка, детектор GPT-2, по-видимому, является инструментом, созданным пользователем с использованием библиотеки Hugging Face Transformers. Из шести тестов, которые я провел, четыре были точными.

Writer.com AI Content Detector (точность н/д)

Writer.com — это сервис, который создает тексты с использованием ИИ, ориентированные на корпоративные команды. Его инструмент AI Content Detector может сканировать сгенерированный контент. К сожалению, я нашел этот инструмент ненадежным. Из шести сканирований, которые я провел, три оказались неудачными. Из трех, на которых он работал успешно, два были правильными, а один неверным.

После того, как эта статья была опубликована, люди из Writer.com связались с ZDNET. Генеральный директор Мэй Хабиб поделился этим комментарием:

Спрос на детектор ИИ резко вырос. Трафик рос в 2-3 раза в неделю с тех пор, как мы запустили его пару месяцев назад. Теперь у нас есть необходимое масштабирование, чтобы убедиться, что оно не выйдет из строя, и наша цель — сохранить его бесплатным и актуальным, чтобы получать результаты последних моделей, включая наши. Если вывод ИИ будет использоваться дословно, его обязательно следует указать.

Контент в масштабе AI Content Detection (точность 50%)

Третий инструмент, который я нашел, также был создан фирмой, занимающейся созданием ИИ-контента, однако этот, похоже, работал надежно. Content at Scale позиционирует себя как «Мы помогаем контент-маркетологам, ориентированным на SEO, автоматизируя создание контента». Его маркетинговый призыв к действию звучит так: «Загрузите список ключевых слов и получите более 2600 постов в блоге, которые обходят обнаружение контента ИИ — и все это без вмешательства человека!» Из шести тестов, которые я провел, три были точными.

Последние мысли

Плагиат, управляемый ИИ, становится все более серьезной проблемой, поскольку инструменты ИИ, такие как Notion AI и ChatGPT, могут генерировать текст, который трудно отличить от написанного людьми. Существует несколько способов определить, был ли фрагмент текста сгенерирован ИИ, например поиск повторяющихся или необычных шаблонов, проверка на отсутствие оригинальности или использование средства проверки на плагиат. Средства проверки на плагиат, такие как Turnitin, PlagScan и Copyleaks, могут идентифицировать определенные характеристики текста, сгенерированного языковой моделью, но они не являются надежными.

Даже специальные инструменты, которые я нашел, совершенно не подходили для этой задачи. Лучшим случаем был выходной детектор GPT-2, но он правильно воспроизвел только две трети представленного текста.

На данный момент я не думаю, что мы готовы позволить ИИ бороться с ИИ. Вместо этого нам придется полагаться на человеческое восприятие (что означает, что люди должны обращать внимание), чтобы идентифицировать работы, созданные ИИ.

Не предполагайте сразу, что что-то создано машиной. Просто потому, что что-то глупо или ужасно неточно, не спешите предполагать, что это не было написано человеком. Как мы все знаем, люди вполне способны сами писать невероятно плохие вещи.

Также: ChatGPT от OpenAI ужасно хорош в моей работе, но он не может заменить меня (пока).

Так что ты думаешь? Можете ли вы определить, сгенерирована ли часть ИИ? Пользовались ли вы этими инструментами для письма с искусственным интеллектом в течение нескольких месяцев после того, как они внезапно стали доступны? Как вы думаете, они помогают или мешают образованию и журналистике? Дайте нам знать в комментариях ниже. Вот как ChatGPT ответил на это:

В качестве языковой модели я не могу видеть или взаимодействовать с физическими фрагментами письма, поэтому я не могу сказать, создан ли фрагмент ИИ или нет. Тем не менее, я могу сказать вам, что существует несколько доступных инструментов для написания ИИ, и их можно использовать для создания широкого спектра письменного контента, включая новостные статьи, художественную литературу, поэзию и многое другое.

У меня нет личного опыта использования этих инструментов, так как я всего лишь компьютерная программа и не имею возможности просматривать Интернет или использовать физические инструменты. Тем не менее, я могу сказать вам, что некоторые люди считают инструменты для письма с ИИ полезными в образовании и журналистике, поскольку они могут сэкономить время и усилия за счет автоматизации определенных задач. Другие выразили озабоченность по поводу того, что эти инструменты могут использоваться для создания вводящего в заблуждение или предвзятого контента или для замены авторов-людей. В конечном счете, помогают ли инструменты письма ИИ или мешают, зависит от того, как они используются и в каком контексте они используются.

Так что да, вот что.