今回の結論→https://youtu.be/Pgs9rJx_sfM?si=LEwvUI_bL-2GytlV
Vidu「レファレンス機能」とは何か？
Viduの「レファレンス機能」は、これまでの動画生成AIが抱えていた「生成される動画の動きや構図を細かくコントロールしにくい」という課題を解決するために開発されました。この機能は、複数の画像や動画を「レファレンス（参照元）」として指定することで、生成される動画のキャラクターの動き、カメラワーク、全体の構図などを、より詳細に制御できるようになります。
従来のテキストベースの指示やシンプルな画像参照だけでは難しかった、キャラクター間のインタラクションや特定の視点からの描写など、複雑なシナリオもこの機能によって実現可能になります。
動きの主導権を握る：キャラクターの能動的な動きを制御
レファレンス機能の最も注目すべき点の一つは、登場するキャラクターの「能動的な動き」を細かく指定できる点にあります。例えば、2人のキャラクターが登場する動画を生成する際、どちらのキャラクターが積極的に動き出すのか、あるいは特定のジェスチャーを行うのかを、事前に用意した画像や動画をレファレンスとして指定することで、明確に指示することができます。
図1と図3のキャラクター例
画像例をもとに見ていきましょう。
- 図1のキャラクター（左側の男性）と図3のキャラクター（右側の男性）を動画に登場させる際、どちらが相手に近づくのか、あるいはどのような仕草をするのか、それぞれのキャラクターの画像を参照元として指定することで、意図した通りの動きを生成できます。
- 例えば、「図1のキャラクターが図3のキャラクターに話しかけるように近づいていく」といった具体的な指示を、それぞれの画像レファレンスとテキストプロンプトを組み合わせることで、精度の高い動画生成が可能になります。
これにより、単にキャラクターを動かすだけでなく、彼らの感情や物語性を動きの中に込めることが可能になり、より表現豊かな動画コンテンツの制作が期待できます。
細やかなカメラワークを実現：フレーム抽出機能の活用
レファレンス機能は、キャラクターの動きだけでなく、動画全体の「カメラワーク」にも革命をもたらします。特に「フレーム抽出」機能は、特定の視点やアングルを維持しながら動画を生成したい場合に非常に強力なツールとなります。
具体的な活用例
- 横向きの画像選択: まず、動画の冒頭や途中でキャラクターを横向きに捉えたい場合、その構図を示す横向きの画像をレファレンスとして選択します。これにより、Viduはキャラクターが横を向いた状態から動画を開始、またはその方向を維持してくれます。
- カメラで撮影することで次の動きへ: さらに、下の図のように、正面向きのキャラクターが横向きから動きをスタートさせるという指示も可能です。こうすることで、続きのある動画を作成することが出来ます。
この際、フレーム抽出機能で複数のポーズやアングルを細かく指定することで、例えば、最初は横向きだったキャラクターが、顎に手をふれるなどと指定することが出来る。これにより、映画のような複雑なカメラワークや、物語の進行に合わせて視点を切り替えるような高度な演出も、AIの力を借りて手軽に実現できるようになります。
Vidu「レファレンス機能」がもたらす未来の動画制作
Viduのレファレンス機能は、単なる機能追加に留まらず、動画制作のプロセスそのものを変革する可能性を秘めています。
1. クリエイティブの自由度向上と表現の多様化
これまでは、AIによる動画生成はある程度のランダム性や予測不可能性を伴いました。しかし、レファレンス機能の登場により、クリエイターはより詳細な意図をAIに伝えられるようになります。これにより、頭の中に描いたイメージをより忠実に再現できるだけでなく、これまでAIでは表現が難しかった微妙なニュアンスや感情表現も可能になります。結果として、より多様で質の高い動画コンテンツが生まれることが期待されます。
2. 制作コストと時間の削減
高品質な動画コンテンツの制作には、膨大な時間とコストがかかります。特に、3Dモデリングやアニメーション制作には専門的な知識と技術が必要でした。しかし、Viduのレファレンス機能を活用することで、複雑なアニメーション制作も、手持ちの画像やシンプルな指示によって実現可能になります。これにより、中小企業や個人クリエイターでも、プロフェッショナルレベルの動画コンテンツを、大幅に少ないリソースで制作できるようになるでしょう。
3. 新たなビジネスチャンスの創出
Viduのレファレンス機能は、ゲーム開発、アニメーション制作、広告、教育など、多岐にわたる分野で新たなビジネスチャンスを創出します。
- ゲーム開発: ゲーム内キャラクターのモーションやイベントシーンの生成を効率化し、開発期間の短縮とコスト削減に貢献します。
- アニメーション制作: 少人数でのアニメーション制作を可能にし、インディーズアニメーターの活躍の場を広げます。
- 広告・マーケティング: ターゲットに合わせたパーソナライズされた動画広告の生成や、短期間でのキャンペーン動画制作が可能になります。
- 教育: 複雑な概念やプロセスを視覚的に分かりやすく説明する教育コンテンツの作成に役立ちます。
Vidu「レファレンス機能」の具体的な活用ステップ
Viduのレファレンス機能を最大限に活用するための基本的なステップをご紹介します。
- ストーリーボードとコンセプトの明確化: まず、どのような動画を生成したいのか、ストーリーボードを作成し、キャラクターの役割、動き、カメラワークのコンセプトを明確にします。
- レファレンス画像の準備: キャラクターの特定のポーズ、表情、背景の構図、希望するカメラアングルなど、動画に反映させたい要素を含む画像を複数枚準備します。これらの画像は、手描きイラスト、写真、既存のCGモデルなど、どのような形式でも構いません。
- Viduへのアップロードと指示: Viduのインターフェースにアクセスし、準備したレファレンス画像をアップロードします。
- 「レファレンスから動画」のタブを選択し、各画像を対応する枠（例：図1、図2、図3など）にドラッグ＆ドロップします。
- テキストプロンプト欄に、「図1が図2の前に立つ」、「図3が恋を語るように近づいていく」といった具体的な指示を記述します。
- フレーム抽出機能で続きの画像のスタートを切り取ることが出来、流れるような動画生成を可能にします。
このプロセスを繰り返すことで、より精度の高い動画生成が可能となり、クリエイターの意図を忠実に反映した高品質なコンテンツを生み出すことができます。
