$30 000 за баг в ИИ: Google открывает охоту на уязвимости в своих нейросетях

Компания Google объявила о запуске новой программы поощрений для исследователей безопасности, которая фокусируется исключительно на ошибках и уязвимостях в продуктах, использующих искусственный интеллект. Это первый случай, когда Google предлагает крупные призы за выявление именно AI-багов, а не традиционных уязвимостей в коде.

Что можно заработать

Размер вознаграждения напрямую зависит от типа обнаруженной проблемы:

• до $20 000 - за серьёзные уязвимости и мошеннические действия в ключевых продуктах, включая поиск Google, приложения Gemini, а также сервисы Workspace (Gmail, Drive и др.);

• до $30 000 - с учётом бонусов за оригинальность отчёта и качество его оформления;

• до $5 000 - за ошибки в менее критичных проектах, таких как NotebookLM, Jules или вспомогательные AI-инструменты.

По данным компании, исследователи, участвующие в предыдущих версиях программы, за последние два года уже получили в сумме более $430 000.

"Наша цель — выявить реальные угрозы, а не просто случаи неточного поведения моделей. Мы ищем уязвимости, которые могут привести к вреду пользователям или нарушению безопасности", — отмечают в Google.

Что считается ошибкой ИИ

Google в новой программе чётко разграничивает понятия "AI-баг" и "уязвимость безопасности". Под ошибками ИИ компания понимает случаи, когда генеративная модель или большая языковая система (LLM) используется для выполнения вредоносных действий.

Среди примеров:

• косвенный инъекционный запрос, заставляющий Google Home разблокировать дверь;

• эксфильтрация данных - команда, которая заставляет модель собрать все письма пользователя из Gmail и отправить их злоумышленнику;

• автоматическое выполнение событий в других сервисах — например, включение света или открытие ставней через событие в Google Календаре.

Важно: вызов галлюцинации у модели (например, генерация неточных фактов Gemini) не считается уязвимостью. Для таких случаев предусмотрен обычный механизм обратной связи внутри продукта.

Как подать отчёт

Google рекомендует исследователям использовать стандартные каналы Bug Hunters, доступные на официальном портале компании. После верификации отчёта экспертами команда AI Security связывается с автором и оценивает серьёзность найденного дефекта.

Для крупных багов предусмотрены коэффициенты умножения вознаграждения за новизну, практическую значимость и полноту отчёта.

Зачем Google запускает AI-багбаунти

Программа отражает растущее внимание корпорации к безопасности генеративных систем. ИИ-модели вроде Gemini или Codey интегрированы во множество сервисов, включая поиск, Gmail, Docs и Android, что увеличивает риск злоупотреблений через "инъекционные атаки".

Теперь Google стремится выстроить постоянную обратную связь с исследователями, чтобы обучать свои модели устойчивости к вредоносным командам.

"Сообщения об уязвимостях помогают не просто закрывать дыру, а диагностировать поведение модели и корректировать её обучение для долгосрочной безопасности", — пояснили в компании.

Новый союзник — ИИ-агент CodeMender

Вместе с программой вознаграждений Google представила инструмент CodeMender, созданный для автоматического исправления уязвимостей в коде. Он анализирует открытые проекты, выявляет потенциально опасные участки и предлагает безопасные решения.

После проверки человеком CodeMender уже исправил 72 уязвимости в проектах с открытым исходным кодом. Компания планирует сделать этот агент частью своего внутреннего процесса тестирования безопасности.

Сравнение с другими программами вознаграждений

Google явно делает ставку на наиболее масштабную и щедрую программу в сфере ИИ-безопасности, привлекая внимание исследователей по всему миру.

Ошибка → Последствие → Альтернатива

• Ошибка: Игнорировать уязвимости, вызванные поведением моделей, а не самим кодом.

• Последствие: Возможность обхода систем безопасности через языковые команды.

• Альтернатива: Создание централизованной программы, где исследователи помогают тестировать модели и зарабатывают на этом.

А что если…

А что если подобные программы станут стандартом для всех AI-разработчиков? Тогда исследователи смогут помогать обучать системы безопасному взаимодействию с пользователями, а компании получат шанс выявлять уязвимости до их массового распространения.

Плюсы и минусы программы

FAQ

Какие баги считаются приоритетными?
Те, что приводят к утечке данных, несанкционированному доступу или нарушению работы других сервисов через ИИ-интерфейсы.

Можно ли сообщить о ложных ответах Gemini?
Нет, подобные случаи относятся к качеству контента, а не к безопасности.

Как долго рассматривают отчёт?
Средний срок проверки составляет от 2 до 6 недель.

Мифы и правда

Миф: Google платит за любую ошибку в Gemini.
Правда: Только за уязвимости, создающие реальную угрозу безопасности или злоупотребления.

Миф: Это программа для программистов Google.
Правда: Участвовать могут независимые исследователи со всего мира.

Миф: AI-багбаунти — маркетинговый ход.
Правда: Программы вознаграждений уже доказали эффективность — участники выявили сотни критических ошибок за последние два года.

Исторический контекст

Google запустила первую Vulnerability Reward Program ещё в 2010 году. С тех пор компания выплатила исследователям более 50 млн долларов. Теперь, спустя 15 лет, она адаптирует концепцию к эпохе искусственного интеллекта, создавая новый стандарт прозрачности и ответственности в AI-разработке.

3 интересных факта

• Первую уязвимость Gemini нашли ещё на этапе закрытого теста в 2023 году.
• Google использует собственную ИИ-модель для анализа отчётов об ошибках.
• Компания рассматривает возможность интеграции CodeMender в GitHub Copilot.