7 миллионов параметров против миллиардов: Samsung показал, что сила — в повторении

Когда речь заходит о прогрессе в сфере искусственного интеллекта, первое, что приходит на ум, — это масштаб. Чем больше параметров, тем умнее модель. Но в лаборатории Samsung AI в Монреале решили перевернуть это представление. Их Tiny Recursive Model (TRM) стала доказательством того, что интеллект не всегда требует гигантских ресурсов. Сеть с семью миллионами параметров продемонстрировала уровень рассуждений, сравнимый — а иногда и превосходящий — системы, которые больше её в тысячи раз.

Как работает рекурсивный интеллект

Исследователи Samsung сделали ставку на идею самообучения через повторение. TRM устроена по принципу рекурсии — цепочки уточняющих итераций. Она задаёт себе вопрос: "Можно ли сделать ответ лучше?" — и повторяет процесс, пока не достигнет оптимума. Каждое новое прохождение модели улучшает предыдущее, что напоминает работу человека, возвращающегося к задаче после критического анализа своих ошибок.

Авторы проекта объясняют, что TRM "рекурсивно уточняет скрытые и выходные состояния, не предполагая сходимости". Это значит, что сеть не застревает на первом подходящем решении, а пробует разные варианты, пока не найдёт наиболее осмысленный. Такой метод делает обучение более гибким и живым, чем стандартная оптимизация, где система быстро "застывает" на одном ответе.

Кроме того, разработчики внедрили адаптивную остановку — механизм, который позволяет модели самой понять, когда стоит прекратить цикл доработок. Это избавляет её от бесконечных вычислений и делает процесс энергоэффективным.

"Модели с небольшим числом параметров все еще могут достигать удивительно высокой производительности в задачах рассуждения с помощью рекурсии", — отметила исследователь Алексия Жоликер-Мартино из Samsung SAIL Montreal.

Где TRM обошла своих гигантских конкурентов

TRM создавалась не для чатов и генерации текстов, а для чистого мышления — логики, анализа и поиска решений. На испытаниях она справилась с задачами, где даже крупные модели пасуют: судоку экстремального уровня сложности, поиск путей в лабиринтах, абстрактные логические тесты.

Результаты впечатляют:
• 87% точности в Sudoku-Extreme;
• 85% — в задачах Maze-Hard;
• 45% — в ARC-AGI-1, тесте, предназначенном для проверки признаков абстрактного интеллекта.

Для сравнения, многие крупные модели с сотнями миллионов параметров показывали результаты ниже этих показателей.

Сравнение подходов

Несмотря на простоту, TRM продемонстрировала более высокую способность к обобщению, чем сложные системы, где задействованы несколько сетей.

"Мы показываем, что рекурсия [приводит] к повышению эффективности рассуждений без увеличения количества параметров", — говорится в статье авторов проекта.

Почему маленькие модели — это важно

Создание огромных ИИ требует не только вычислительной мощности, но и колоссальных затрат. Тренировка моделей с триллионом параметров стоит сотни миллионов долларов и требует специальных чипов, распределённых центров данных и огромного количества электроэнергии.

TRM, напротив, работает на обычных процессорах и может быть запущена даже на ноутбуке. Для университетов, исследовательских лабораторий и стартапов это открывает новые возможности: развивать искусственный интеллект без участия гипергигантов вроде Google или Meta.

Компактные модели важны и для периферийных вычислений — там, где ИИ обрабатывает данные прямо на устройствах: смартфонах, роботах, умных колонках. Здесь экономия энергии и локальная обработка становятся ключевыми преимуществами.

Советы шаг за шагом: как применить рекурсивный подход

1. Начните с малой архитектуры. Попробуйте компактные модели вроде LLaMA-2 или Mistral и адаптируйте их для задач рассуждения.

2. Добавьте механизм самооценки. Пусть модель проверяет свои ответы перед финальной генерацией.

3. Используйте адаптивную остановку. Настройте алгоритм, который будет понимать, когда дальнейшее уточнение не улучшает результат.

4. Тестируйте на конкретных задачах. Судоку, лабиринты, логические цепочки — отличный полигон для проверки архитектуры.

5. Оптимизируйте под устройство. Используйте квантизацию и компиляцию для локального запуска.

Ошибка → Последствие → Альтернатива

• Ошибка: разработчики слепо масштабируют архитектуры.
• Последствие: растут энергозатраты и стоимость обучения, но качество решений не всегда улучшается.
• Альтернатива: внедрение рекурсивных моделей вроде TRM, где акцент сделан на эффективности и самообучении.

А что если объединить подходы?

Исследователи предполагают, что в будущем крупные языковые модели (LLM) и рекурсивные системы будут работать вместе. LLM займутся пониманием и генерацией текста, а рекурсивные подмодули — сложными вычислительными или логическими задачами. Такой симбиоз позволит создавать умные, но энергоэффективные решения, способные работать даже без постоянного доступа к облаку.

Плюсы и минусы TRM

FAQ

Как использовать TRM в коммерческих проектах?
Модель можно встроить в систему аналитики, проверку гипотез или решения задач на логику. Она подходит для автономных вычислений без подключения к серверу.

Можно ли дообучить TRM?
Да, код открыт. Исследователи предоставили инструкции и параметры для повторного обучения на новых датасетах.

Сколько стоит запуск TRM?
Минимально. Даже бюджетный ноутбук способен обработать задачи, где требуется до нескольких итераций рассуждения.

Что лучше — TRM или большие языковые модели?
Для логики и структурированных задач — TRM, для текстов и диалогов — крупные LLM. Их сочетание даёт наилучший результат.

Мифы и правда

• Миф: без миллиардов параметров невозможно достичь настоящего интеллекта.
• Правда: рекурсивная структура позволяет маленьким сетям рассуждать не хуже гигантов.

• Миф: эффективность всегда противоречит качеству.
• Правда: TRM показывает, что сокращение параметров может улучшить точность.

• Миф: рекурсия — это старый приём из математики.
• Правда: в ИИ рекурсивное обучение становится новым направлением архитектурного развития.

Три интересных факта

1. TRM решает Sudoku-Extreme быстрее, чем средний человек.

2. Код модели занимает меньше 50 мегабайт.

3. Проект получил более тысячи звёзд на GitHub за первые недели публикации.

Исторический контекст

Samsung AI Lab уже несколько лет исследует архитектуры, альтернативные масштабированию. В 2022 году команда представила HRM — иерархическую модель рассуждений, но именно TRM стала следующим шагом, показав, что качество не всегда связано с количеством. Сегодня многие исследователи рассматривают этот подход как возможное направление развития AGI — искусственного интеллекта общего назначения.