Vidu S2: 실시간 인터랙션, 편집, 공간 비디오 생성

1. Vidu S2는 세계 최고 수준의 실시간 상호작용 모델로, Vidu S2-Avatar를 통한 실시간 비디오 아바타 생성과 Vidu S2-Editing을 통한 실시간 비디오 편집을 제공합니다. 2. Vidu S2-Avatar는 실시간 음성 상호작용과 복잡한 모션 제어를 지원하며, 참고 이미지를 활용해 사물과 상호작용하거나 의상 및 배경을 변경할 수 있습니다. 3. Vidu S2-Editing은 스타일, 의상, 피사체, 배경 참고 이미지를 기반으로 입력 비디오 스트림을 끊김 없이 실시간으로 편집할 수 있습니다. 4. 또한 Vidu S2는 비동기 생성도 지원하여, 이미지 한 장과 오디오 클립으로 아바타 비디오를 생성할 수 있습니다.

1. 화질이 향상되어 기존 540p에서 720p까지 지원합니다. 2. 지시 이행 성능이 향상되어 음성 지시로 아바타의 춤 동작을 제어할 수 있습니다.

1. Vidu S2-Avatar는 실시간 상호작용을 지원합니다. 아바타가 사용자와 실시간으로 대화하고, 대화 중 끼어들기를 지원하며, 양방향 인지 기능을 제공하고, 음성 입력부터 렌더링까지 전 과정을 처리합니다. 2. Vidu S2-Editing은 스트리밍 비디오 편집을 지원합니다. 비디오 스트림을 지속적으로 수신해 편집 결과를 실시간으로 출력하며, 스트림을 중단하지 않고도 중간에 참고 이미지나 장면을 변경할 수 있습니다.

1. 온라인 아바타는 사용자와 실시간으로 대화할 수 있고, 대화 중 언제든 끼어들기를 지원하며, 양방향 인지 기능을 제공합니다. 2. 오프라인 아바타는 비동기 생성 방식으로, 캐릭터 이미지와 오디오 클립 또는 텍스트를 사용해 립싱크와 동작이 맞춰진 말하는 영상을 생성할 수 있습니다.

Vidu S2-Editing은 카메라, 비디오, 이미지의 세 가지 입력 방식을 지원합니다. 카메라를 켜거나 입력 소스를 선택한 후 스타일, 의상, 피사체, 배경 참고 이미지를 사용해 입력 비디오 스트림을 실시간으로 편집하고 결과를 출력할 수 있습니다.

아바타와 실시간으로 상호작용하는 라이브 방송 중 참고 이미지와 지시 사항을 입력할 수 있습니다. 참고 이미지는 사물, 의상, 배경의 세 가지 유형으로 나뉘며, 지시 사항과 참고 이미지를 기반으로 상품을 집어 들어 소개하거나 참고 이미지의 의상을 착용하고 배경을 교체하는 등의 상호작용을 구현할 수 있습니다.

API 플랫폼을 통해 연동할 수 있습니다: https://platform.vidu.com/vidu-stream/doc