ControlNetとDream Machineを使って下絵から動画を作ってみたよ

はじめに

Luma AIからDream Machineが出ましたね。

これを使えば１枚の写真やイラストから動画が作成でき、無料で試せる。
すごい世の中になったものです。さっそく動かしてみました。

ペンで描いた下絵をStableDiffusion+ControlNetでイラストに変換し、
それをDream Machineで動画に変換。どんな動画ができるか・・・。

ペンで下絵を描く

まずは、ペンで適当に下絵を描いてみます。
私はあまり絵心が無いので他の人に描いてもらった絵を使います。

線画からカラーのイラストを生成する

これをStable Diffusion + ControlNetでイラストに変換しました。
Stable Diffusionのモデルはv1-5-pruned-emaonly、
ControlNetはcontrol_scribble-fp16、を使いました。

Promptは

walking girl with cute eyes, (Dark apricot-colored toypoodle with bushy, curly fur all over, including the face:1.1), artstation deviantart (beautiful green forest) , vivid color

Negative Promptは

text letter blurred, bad face, ugly face, ugly animal, bad animal, bad body, ugly body

すると、こんな絵を描いてくれました。

下絵にいろいろな要素が加えられ、なかなか味のあるイラストになってます。
ControlNetは構図等をかなり忠実に再現してくれるので便利です。

StableDiffusionやControlNetの使い方はWeb上にも紹介記事がいろいろありますが、初心者には情報が一か所にまとまって整理されている書籍がお勧めです。

私も何冊か本を買いましたが、この本が一番わかりやすかったです(ControlNetやLoRAまで言及している本は少ないです)。

画像生成AI　Stable Diffusion スタートガイド (Generative AI イラストレーション)

Amazon

カラーのイラストを動画に変換する

次にこのイラストをDream Machineを使って動画にしてみます。

lumalabs.ai

Dream Machineのページの右上のTry Nowから進んで、Microsoftアカウントでログインします。ログインするとプロンプト入力欄があるページが開きます。

ここでプロンプト入力欄の左側の絵のアイコンをクリックして、動画にしたい写真やイラストをアップロードします。
次にその横の欄にプロンプトを英語で入力します。英語が苦手な方はDeepLなどで翻訳した結果をそのまま貼り付けると楽です。

www.deepl.com
今回は、最初のイラスト生成時に使ったプロンプトをそのまま入力しました。Negative Promptは使用していません。

walking girl with cute eyes, (Dark apricot-colored toypoodle with bushy, curly fur all over, including the face:1.1), artstation deviantart (beautiful green forest) , vivid color

実行すると数分で、こんな動画が生成されました。