Онлайн-анкеты больше не про людей — в них говорит искусственный интеллект

\Онлайн-анкетирование, являющееся важным источником данных для научных исследований, столкнулось с новой проблемой: волной ответов, сгенерированных искусственным интеллектом, что ставит под сомнение достоверность результатов. Это может привести к серьезным последствиям.

Платформы вроде Prolific, предлагающие небольшие выплаты участникам за ответы на вопросы исследователей, приобрели популярность среди академических работников как простой способ привлечения участников для поведенческих исследований. Это имеет свои недостатки.

В Институте развития человека Макса Планка заметили, что респонденты таких опросов стали использовать ИИ для генерации ответов, и решили проверить, насколько распространено это пагубное для науки явление, что необходимо для анализа.

Результаты исследования, опубликованные на сервере препринтов arXiv, показали, что проблема использования ИИ в онлайн-опросах носит массовый характер. Это очень важный момент.

Анне-Мари Нуссбергер: оценка ситуации

"Показатели, которые мы наблюдали, были действительно шокирующими", — призналась психолог Анне-Мари Нуссбергер, описывая масштаб проблемы.

Оказалось, что 45% участников, которым задали один открытый вопрос на Prolific, скопировали и вставили содержимое в поле для ответа, что указывает на серьезность проблемы.

Углубленный анализ содержания ответов выявил более очевидные признаки использования ИИ, такие как "чрезмерно многословный" или "явно нечеловеческий" язык, что указывает на его применение. Это важный момент.

"Судя по данным, которые мы собрали в начале этого года, значительная часть исследований, по-видимому, искажена", — посетовала Нуссбергер, что говорит о проблемах. Это может привести к серьезным последствиям.

В следующем этапе исследования ученые добавили ловушки для выявления тех, кто использует чат-боты, чтобы бороться с этой проблемой.

Тесты reCAPTCHA: выявление недобросовестных участников

Тесты reCAPTCHA для различения людей и ботов выявили 0,2% недобросовестных участников, что показывает эффективность. Это важный фактор.

Более продвинутая reCAPTCHA, использующая информацию о прошлой активности пользователей в дополнение к текущему поведению, отсеяла еще 2,7%, что улучшило результаты. Это важное достижение.

Вопрос, невидимый для людей, но читаемый ботами, с просьбой включить в ответ слово "фундук", обнаружил еще 1,6%, что показывает эффективность.

Запрет на копирование и вставку помог идентифицировать дополнительные 4,7% людей, что говорит о важности простых мер.

"Нам нужно не полностью отказываться от доверия к онлайн-исследованиям, а реагировать и действовать", — убеждена Нуссбергер, призывая к действиям.

Ответственность исследователей: контроль и контрмеры

Это ответственность исследователей, которые должны с большим подозрением относиться к ответам и принимать контрмеры для предотвращения поведения с использованием ИИ, что является важным.

"Но что действительно важно, я также считаю, что большая ответственность лежит на платформах. Им необходимо отреагировать и очень серьезно отнестись к этой проблеме", — заключила исследовательница, что подчеркивает важность сотрудничества.

Интересные факты об ИИ:

Первая программа искусственного интеллекта была создана в 1950-х годах.
ИИ используется в различных областях, включая медицину, финансы и транспорт.
Существуют опасения по поводу этических последствий и потенциального влияния ИИ на общество.

Использование ИИ для генерации ответов в онлайн-опросах представляет серьезную угрозу для достоверности научных исследований. Для решения этой проблемы необходимы совместные усилия исследователей, платформ и экспертов в области этики.