【Stable Diffusion】AI絵をつなげてアニメーションを作る
特別難しいことをせず、シンプルにAI絵をつなげてアニメーションを作る手順。細かい調整等は無しにしてとりあえず作ってみる記事。
AIでアニメーションを作る
作例としてまずウマ娘の夏服をマーベラスデザイナーで試しに作ってみたので、動画化した。
上の作例をAIにリペイントさせたのが次
背景が違うのは単純に別動画で書き出したため。
今回はリペイント目的
AIイラストといえば指示を与えるだけで自動でイラストを書いてくれるもの。
今回はそれとは少し用途が違って3DCGの映像から「CGっぽさ」を抜くためにAIを使用してみる実験
超手軽にアニメを作りたい人向けではないので注意。あくまで既存の動画を手書き風にしていく作業。
まだ実用レベルではない？
一発書き出しでAI化したので、チラツキが強く表情も安定しない。
すぐさまこれで作品としてクオリティがあがるかと考えるとまだ早いと感じる。
しかし、全体的に手書きのようなタッチが入り表情も柔らかいイラスト調になるので大きな可能性を感じる。
というわけで、今回はこれをサクッと表現する方法を簡易的に書いておく。
AI画像を作ったことある人向け
この記事は細かい操作方法などは省略する(調べればいくらでもでてくるので無駄な記事になるため)
Stable Diffusionを使ったことあるユーザー向けに書いていく。
動画は連番画像で書き出しておく
今回はBlenderを使用してレンダリングしているが、動画はpng形式の静止画を連番で書き出している。
意外に知らない人もいるかもしれないが、動画ソフトでは連番の画像ファイルを「動画」としてワンセットで読み込む機能があるので便利。
jpg,bmp,tiffなどでも良い。個人的にはbmpはDaVinci Resolveで使えないのでおすすめしない。
バッチ処理で一気にAIに通す
次にStable Diffusionを使って上で出力した各pngファイルを１枚ずつAIに通していく。
この時バッチ機能を使えば１回の処理でまとめて全部処理することができる。
今回はautomatic1111のUIを使用。
img2imgタブから
まずはimg2imgタブからBatchの機能を開く。
次にディレクトリ指定。
Input directoryに先程のpng画像がたくさん入っているディレクトリを指定。
Output directoryに指定した場所に書き出される。
その他の設定
Sampling steps：上げるとより高精度な画像が出てくる。処理が重くなる。余裕があれば６０以上が良さげ。
Denoising strength：小さくするほど元画像を維持する。0.1~0.2が良かった。0.3以上にすると出力画像が別物になってしまう印象。
Seed：3DCGのソフトでもよく出てくる項目。-1のままだとランダム。できるだけ毎回同じものを出したいので適当な固定値を入力。あまり詳しく説明できないので他サイトを調べてもらえれば。
Batch sizeなどはいじらない。
これで通常通りGenerateをクリックすれば、フォルダに入っている画像１つ１つを次々に処理してくれる。
Google Colabでやる場合のTips
Outputのディレクトリを上のようにMyDriveにしておくと、わざわざサーバー側のデータをコマンドでコピーしなくても待っていれば勝手に自分のドライブに画像ファイルが入ってくるので簡単。
DaVinci Resolveで結合
私はDaVinci Resolve(無料版)で書き出すのがもっともやりやすい。
AviUtilでも出来る(と思われる)のでこちらのほうが軽いかもしれないが、私のケースだと連番読み込みが成功しなかったので使っていない。
DaVinci ResolveのTips
DaVinci Resolveの詳しい解説はしないが、連番読み込みの手順が新しいバージョンで変わっているようなので記しておく。
画面下のメニューからMediaをクリック
上側にある...をクリック。
Frame Display ModeをSequenceに設定しておく。
これが連番で１つの動画にするモード(たぶん)
左上のウィンドウに連番ファイルをフォルダごとドラッグ&ドロップ。
登録された連番動画を下のMedia poolの空所にドラッグする。
これであとはCutなどの画面でメディアプールから１つの動画として使用できるはず。
あとは書き出して終了。
結果自体は微妙？
個人的には単にBlenderで書き出したアニメシェーダーでも十分美しい。
わざわざチラつくAI動画にする必要があるのかという疑問は残る。
しかし、こちらのほうが表情が付いてタッチも手書き風になるので気に入ってはいる。
今後はもっと簡易CGキャラをイラスト化するテクニックを研究する余地がありそう。
以上
今回はAIイラスト化する時に特別な処理をせず、動画書き出しもつなげるだけという非常にシンプルな手順。
今後は映像のチラツキをへらすなどの研究は続けたい。
ただ、正直AI絵の進化が早く、プログラム開発を行ってくれている方々が何かしら作ってくれそうではある。
待っているだけでも良いかと思う。
