Детекторы ИИ не могут надежно определить, был ли текст создан человеком или нейросетью — OpenAI

Инструменты для обнаружения текстов, созданных искусственным интеллектом (ИИ), неэффективны и часто допускают ошибки. Об этом заявила OpenAI.
В разделе часто задаваемых вопросов под названием "Работают ли детекторы искусственного интеллекта?" OpenAI пишет : "Короче говоря, нет. Хотя некоторые (включая OpenAI) выпустили инструменты, предназначенные для обнаружения контента, созданного искусственным интеллектом, ни один из них не доказал надежное различение между контентом, созданным искусственным интеллектом, и контентом, созданным человеком".
Эксперты призывают не полагаться на автоматизированные инструменты для обнаружения текстов ИИ и вместо этого ориентироваться на человеческий опыт и интуицию.
В разделе FAQ под названием "Работают ли детекторы искусственного интеллекта?", OpenAI написала, что такие детекторы на данный момент неэффективны. Несмотря на то, что некоторые компании (включая OpenAI) представили инструменты для обнаружения контента, созданного искусственным интеллектом, ни один из них не доказал надежность в точном различении между контентом, сгенерированным искусственным интеллектом, и контентом, созданным людьми.
Такие детекторы контента ИИ, как GPTZero, часто дают ложные срабатывания, поскольку полагаются на недоказанные критерии. В конце концов, текст, написанный ИИ, ничем не отличается от написанного человеком, и детекторы можно победить путем перефразирования. OpenAI прекратила выпуск своего AI Classifier — экспериментального инструмента, предназначенного для обнаружения текста, написанного искусственным интеллектом. Его точность составляла всего 26%.
OpenAI разоблачила еще одно заблуждение: якобы сам ChatGPT может знать, написан текст искусственным интеллектом или нет. OpenAI пишет: "ChatGPT не имеет „понимания" того, какой контент может быть сгенерирован искусственным интеллектом. Иногда он выдумывает ответы на вопросы типа: „Вы написали это [эссе]?" или „Могло ли это написать ИИ?". Эти ответы случайны и не имеют под собой никаких оснований".
OpenAI также борется со склонностью своих моделей ИИ выдумывать ложную информацию. "Иногда ChatGPT звучит убедительно, но может дать неверную или вводящую в заблуждение информацию („галлюцинации"). Он даже может выдумывать цитаты или ссылки, поэтому не используйте его как единственный источник для исследований", — пишут в компании.
Хотя автоматические детекторы ИИ не работают, это не означает, что человек никогда не сможет обнаружить "руку" искусственного интеллекта в тексте. Например, учитель, знакомый с типичным стилем письма ученика, может определить, когда его манера внезапно меняется. Кроме того, многие впопыхах забывают убрать фразу "как модель языка искусственного интеллекта" из своей работы. А недавно в одной научной статье заметили фразу Regenerate response ("Сгенерировать новый ответ"), которая является кнопкой в ChatGPT.
При нынешнем состоянии технологий безопаснее всего полностью избегать автоматизированных инструментов обнаружения ИИ. "На данный момент ИИ-письмо невозможно обнаружить и, вероятно, так и останется", — сказал Ars в июле частый аналитик ИИ и профессор Уортона Итан Моллик. "Детекторы искусственного интеллекта имеют высокий уровень ложных срабатываний, поэтому их не следует использовать".