Искусственный интеллект на грани срыва: что скрывает одна странная фраза

Исследователи из Стэнфордского университета вместе с командами американских компаний ServiceNow и Collinear AI выявили неожиданную слабость современных моделей искусственного интеллекта. Оказалось, что простое добавление посторонних предложений к математическим задачам резко увеличивает количество ошибок, совершаемых ИИ.

Почему ИИ путается там, где человек не замечает проблемы

Люди легко отделяют важную информацию от отвлекающих деталей. Но для искусственного интеллекта, даже фраза вроде: "Интересный факт: кошки проводят большую часть своей жизни во сне" — настоящая ловушка, которая приводит к ошибкам в расчетах.

Автоматизированная система, получившая название CatAttack, сначала проверяет такие сбивающие с толку предложения на менее мощных моделях, а затем, если метод оказывается эффективным, применяет их к продвинутым ИИ, например, DeepSeek R1. Как пишет The Deep View, эти испытания выявили уязвимости в системах, предназначенных для сложных рассуждений.

Ключевые цифры из исследования

В опубликованной на arXiv работе ученые приводят впечатляющие данные:

• Добавление всего трех случайных суффиксов к подсказке вызвало рост ошибок в моделях ИИ на 300%.
• Одно предложение о кошках удвоило число ошибок даже у самых мощных моделей.
• Наибольшее количество сбоев вызывали вопросы с числовыми формулировками, например: "Возможно ли, что результат будет около 175?"

Кроме того, использование CatAttack значительно замедляло работу моделей — время ответа увеличивалось в два-три раза, что автоматически повышало эксплуатационные затраты.

Почему это важно для всех

Современные системы ИИ все активнее применяются в образовании, программировании и поддержке принятия решений — сферах, где ошибка может дорого обойтись. CatAttack показывает, что даже малозначительный на первый взгляд "информационный шум" способен сделать работу искусственного интеллекта нестабильной и ненадежной именно тогда, когда от него требуется высокая точность.

"Информационный шум не просто мешает — он выводит системы из строя в критический момент", — подчёркивают эксперты.