Новая нейросеть VASA-1 от Microsoft: превращение одной фотографии в реалистичные видеоролики

Microsoft представила новую нейросеть под названием VASA-1, способную создавать реалистичные видеоролики на основе одной фотографии человека. Нейросеть может "оживлять" фотографии, сопровождая их голосовой записью и демонстрируя естественную мимику.

VASA-1 синхронизирует движение губ, положение и движение головы, а также может управлять широким спектром эмоций. Разработчики отмечают, что такая реалистичность достигается за счет разделения обработки черт лица и выражений, а также положения головы в пространстве. Нейросеть работает в режиме реального времени, создавая видео разрешением 512×512 пикселей со скоростью до 40 к/с. Для работы VASA-1 необходима видеокарта NVIDIA GeForce RTX 4090. Microsoft принимает меры против дипфейков, внедряя идентифицируемые метки в результаты генерации. Компания не выпускает онлайн-демоверсию, API и продукт до уверенности в их ответственном использовании. Примеры работы VASA-1 доступны на официальном сайте проекта, сообщает 4pda.