Vidu S2: интерактивная генерация, редактирование и создание пространственного видео в реальном времени

Vidu S2 — ведущая в мире интерактивная модель, работающая в реальном времени. В нее входят модуль Vidu S2-Avatar для создания видеоаватаров и модуль Vidu S2-Editing для редактирования видео. 2. Vidu S2-Avatar поддерживает голосовое общение в реальном времени и управление сложными движениями, а также позволяет взаимодействовать с объектами, менять одежду и заменять фон по референсным изображениям. 3. Vidu S2-Editing позволяет непрерывно и в реальном времени редактировать входящий видеопоток, меняя стиль, одежду, объект или фон на основе референсов. 4. Кроме того, Vidu S2 поддерживает асинхронную генерацию: пользователи могут создавать видео с аватаром всего из одного изображения и одной аудиозаписи.

Повышено качество видео: добавлена поддержка разрешения 720p вместо 480p. 2. Точнее исполняются команды: аватарами теперь можно управлять с помощью голосовых инструкций, задавая танцевальные движения.

Vidu S2-Avatar обеспечивает интерактивное общение без задержек: аватары ведут живой диалог с пользователем, подстраиваются под прерывания речи, поддерживают двустороннее восприятие и выполняют полный цикл — от обработки голоса до рендеринга. 2. Vidu S2-Editing позволяет редактировать видео прямо в процессе трансляции: модель непрерывно принимает видеопоток и выдает обработанный результат в реальном времени, поэтому пользователь может менять референсы или сценарии прямо на ходу, не останавливая поток.

Онлайн-аватары ведут живой диалог в реальном времени: их можно перебить в любой момент разговора, а сама модель поддерживает двустороннюю обратную связь с пользователем. 2. Офлайн-аватары работают в режиме отложенной генерации: вы загружаете изображение персонажа и добавляете аудиозапись или текст, а сервис создает видео с говорящим аватаром и точной синхронизацией губ и движений.

В Vidu S2-Editing предусмотрено три формата исходных данных: трансляция с камеры, видеофайл или картинка. Выбрав нужный вариант, вы накладываете референсы стиля, одежды, объекта или фона и в реальном времени получаете обработанный видеопоток.

Во время стрима с интерактивным аватаром можно отправлять текстовые команды и прикреплять референсы, разделенные на три категории: объекты, одежда и фон. Такая связка команды и картинки заставляет аватар действовать на лету — например, взять предмет для демонстрации, переодеться в нужную одежду или сменить фон.

Подключите нашу API-платформу: https://platform.vidu.com/vidu-stream/doc