Когда нейросети становятся слишком убедительными, детекторы начинают пасовать!

🤔 Когда нейросети становятся слишком убедительными, детекторы начинают пасовать!

Похоже, что детекторы текста, созданного искусственным интеллектом, сами нуждаются в серьёзной прокачке. Исследователи из Epoch AI провели тестирование трёх ведущих детекторов: Pangram, GPTZero и Originality.ai. Казалось бы, они должны без труда отличать текст, написанный человеком, от текста, сгенерированного машиной. Но вот незадача: если нейросеть подражает стилю автора, результаты становятся, мягко говоря, неожиданными.

Исследование показало, что до 18% текстов, сгенерированных ИИ, остаются незамеченными. Особенно сложно дело обстоит с научными текстами — здесь детекторы промахиваются почти в половине случаев, а именно в 48%. Выходит, именно в той области, где точность особенно важна, системы дают сбой.

◾️ Промахи в обнаружении ИИ-текстов: до 18%
◾️ Промахи в научных текстах: до 48%
◾️ Тестируемые детекторы: Pangram, GPTZero, Originality.ai

> Кажется, пора детекторам брать уроки актёрского мастерства у нейросетей.

Как думаете, сколько времени пройдёт, прежде чем детекторы начнут справляться с новыми вызовами?