Vidu S2 : génération vidéo interactive, éditable et spatiale en temps réel

1. Vidu S2 est un modèle d'interaction en temps réel de premier plan. Il propose des avatars vidéo en temps réel avec Vidu S2-Avatar et l'édition vidéo en temps réel avec Vidu S2-Editing. 2. Vidu S2-Avatar prend en charge les interactions vocales en temps réel et le contrôle de mouvements complexes. À l'aide d'images de référence, il permet d'interagir avec des objets, de changer de tenue ou de remplacer l'arrière-plan. 3. Vidu S2-Editing permet de modifier en continu et en temps réel un flux vidéo à partir d'images de référence de style, de tenue, de sujet ou d'arrière-plan. 4. Vidu S2 prend également en charge la génération asynchrone : une seule image et un fichier audio suffisent pour créer une vidéo d'avatar.

1. Qualité d'image améliorée, avec une résolution désormais prise en charge jusqu'à 720p au lieu de 480p. 2. Meilleur suivi des instructions : des commandes vocales peuvent contrôler l'avatar et lui faire exécuter des mouvements de danse.

1. Vidu S2-Avatar permet une interaction en temps réel : l'avatar dialogue avec l'utilisateur, peut être interrompu à tout moment, perçoit l'échange dans les deux sens et couvre toute la chaîne, de la voix au rendu. 2. Vidu S2-Editing assure l'édition vidéo en streaming : il reçoit le flux en continu et restitue le résultat modifié en temps réel. Il est possible de changer d'image de référence ou de scène sans interrompre le flux.

1. Un avatar en ligne dialogue avec l'utilisateur en temps réel. Il peut être interrompu à tout moment et perçoit l'interaction dans les deux sens. 2. Un avatar hors ligne repose sur une génération asynchrone : une image de personnage et un fichier audio ou un texte permettent de créer une vidéo parlée dont les mouvements et la synchronisation labiale sont alignés.

Vidu S2-Editing propose trois sources d'entrée : caméra, vidéo et image. Activez la caméra ou sélectionnez une autre source, puis modifiez le flux vidéo en temps réel à partir d'images de référence de style, de tenue, de sujet ou d'arrière-plan.

Pendant un direct interactif avec un avatar, les utilisateurs peuvent fournir des instructions et des images de référence. Les images de référence se répartissent en trois catégories : objets, tenues et arrière-plans. Elles permettent des interactions selon l’instruction et l’image de référence, par exemple saisir un objet pour le présenter, porter une tenue de référence ou remplacer l’arrière-plan.

Vous pouvez intégrer le modèle via notre plateforme API : https://platform.vidu.com/vidu-stream/doc