Vidu S2: Geração de Vídeo Espacial, Editável e Interativa em Tempo Real

1. O Vidu S2 é um modelo interativo em tempo real líder mundial, oferecendo geração de avatares de vídeo em tempo real através do Vidu S2-Avatar e edição de vídeo em tempo real através do Vidu S2-Editing. 2. O Vidu S2-Avatar suporta interação por voz em tempo real e controle de movimentos complexos, além de poder usar imagens de referência para permitir interação com objetos, troca de roupas e mudança de plano de fundo. 3. O Vidu S2-Editing suporta edição contínua em tempo real de fluxos de vídeo de entrada com base em imagens de referência de estilo, roupa, sujeito e plano de fundo. 4. Além disso, o Vidu S2 também suporta geração assíncrona: os usuários podem gerar vídeos de avatar a partir de uma única imagem e um clipe de áudio.

1. Qualidade visual aprimorada, com upgrade do suporte de 480p para 720p. 2. Capacidade aprimorada de seguimento de instruções, suportando comandos de voz para controlar avatares na execução de movimentos de dança.

1. O Vidu S2-Avatar possibilita interação em tempo real: os avatares podem conversar com os usuários em tempo real, suportam interrupções, oferecem percepção bidirecional e abrangem todo o fluxo, da entrada de voz à renderização. 2. O Vidu S2-Editing possibilita a edição de vídeo em streaming: ele recebe fluxos de vídeo continuamente e gera os resultados editados em tempo real, permitindo que os usuários alternem imagens de referência ou cenas no meio do processo sem interromper a transmissão.

1. Avatares online podem conversar com os usuários em tempo real, suportam interrupção a qualquer momento durante a conversa e oferecem percepção interativa bidirecional. 2. Avatares offline referem-se à geração assíncrona: os usuários podem gerar um vídeo com fala, sincronia labial e alinhamento de movimentos a partir de uma imagem de personagem combinada a um clipe de áudio ou texto.

O Vidu S2-Editing suporta três modos de entrada: câmera, vídeo e imagem. Depois de ativar a câmera ou selecionar uma fonte de entrada, você pode editar o fluxo de vídeo de entrada em tempo real usando imagens de referência de estilo, roupa, sujeito ou plano de fundo e gerar o resultado editado como saída.

Durante uma transmissão ao vivo interativa com avatar, os usuários podem fornecer imagens de referência e instruções. As imagens de referência são agrupadas em três categorias: objetos, roupas e planos de fundo. Elas permitem interações com base na instrução e na imagem de referência, como pegar um item para demonstração, vestir a roupa da imagem de referência ou substituir o plano de fundo.

Você pode integrar com a nossa plataforma de API: https://platform.vidu.com/vidu-stream/doc