Metaの動画生成AI「Make-A-Video」とは

画像からの「教師あり学習」と動画からの「教師なし学習」を組み合わせるアプローチ

シリコンバレーから現役データサイエンティストのインサイトをお届けする「The Insight」。今回取り上げるのは、Metaが開発した動画生成AI「Make-A-Video」です。

論文データ：今回のディスカッション対象の論文をご紹介します。

Make-A-Videoは、2022年9月にMetaが発表した「動画を生成するAI」です。Make-A-Videoは以下の3種類の入力情報から、動画を生成できます。

Make-A-Videoの最も主要な手法な用途は、「文章から動画を生成すること」です。短い指示文を与えるだけで、Make-A-Videoは文章の意味に合った動画を生み出します。

Make-A-Videoが生成した動画は公式サイトで公開されているので、見てみるとよいでしょう。公式サイトから2つ例を引用すると、以下の通りです。どちらの例でも、文章で指示された通りの動画が生成されていることが確認できます。

Make-A-Videoは、入力情報として「文章」ではなく「画像」も扱えます。画像が1枚与えられると、Make-A-Videoはその前後の時間軸の画像を生み出し、画像をつなげて動画を生成します。

下図の例では、Make-A-Videoは左側の絵画の画像を入力として、右側の動画を生成しました。嵐の中を進む小舟の様子を、まるで現実の映像のように描写しています。

また、Make-A-Videoは2枚の画像を入力として、画像間の時間を補完する動画を生成することも可能です。その例が下図で、無重力の宇宙空間にある岩が動いていく様子を表現しています。

Make-A-Videoは「動画」を入力として、別の「動画」を生み出せます。オリジナルの動画の特徴を反映させつつ、少し異なるバージョンの動画を生成するのです。

その例が下図です。Make-A-Videoが生み出した動画は、「宇宙空間に浮かぶ宇宙飛行士」という点ではオリジナルと同じですが、まったく別の動画となっています。

Make-A-Videoの技術的な側面を解説します。

進歩が著しい画像生成AIと比べると、動画生成AIはまだまだ発展途上です。公開されているMake-A-Videoが生成した動画の中には、現実ではありえない動きをするものも混じっています。

動画生成AIの開発が遅れている理由としては、まず動画は画像よりも情報量が多く複雑だという点があります。それに加えて大きな要因となっているのが、「文章と動画の組み合わせ」のデータセットが少ないことです。

画像生成AIは、インターネット上から「文章と画像の組み合わせ」を大量に収集して学習することで、性能を高めました。しかし、動画では十分な「質」と「量」のデータセットを集められないため、画像と同じアプローチが有効ではないのです。