作例としてまずウマ娘の夏服をマーベラスデザイナーで試しに作ってみたので、動画化した。
上の作例をAIにリペイントさせたのが次
背景が違うのは単純に別動画で書き出したため。
AIイラストといえば指示を与えるだけで自動でイラストを書いてくれるもの。
今回はそれとは少し用途が違って3DCGの映像から「CGっぽさ」を抜くためにAIを使用してみる実験
超手軽にアニメを作りたい人向けではないので注意。あくまで既存の動画を手書き風にしていく作業。
一発書き出しでAI化したので、チラツキが強く表情も安定しない。
すぐさまこれで作品としてクオリティがあがるかと考えるとまだ早いと感じる。
しかし、全体的に手書きのようなタッチが入り表情も柔らかいイラスト調になるので大きな可能性を感じる。
というわけで、今回はこれをサクッと表現する方法を簡易的に書いておく。
この記事は細かい操作方法などは省略する(調べればいくらでもでてくるので無駄な記事になるため)
Stable Diffusion
を使ったことあるユーザー向けに書いていく。
今回はBlender
を使用してレンダリングしているが、動画はpng
形式の静止画を連番で書き出している。
意外に知らない人もいるかもしれないが、動画ソフトでは連番の画像ファイルを「動画」としてワンセットで読み込む機能があるので便利。
jpg,bmp,tiffなどでも良い。個人的にはbmpはDaVinci Resolve
で使えないのでおすすめしない。
次にStable Diffusion
を使って上で出力した各png
ファイルを1枚ずつAIに通していく。
この時バッチ機能を使えば1回の処理でまとめて全部処理することができる。
今回はautomatic1111
のUIを使用。
まずはimg2img
タブからBatch
の機能を開く。
次にディレクトリ指定。
Input directory
に先程のpng
画像がたくさん入っているディレクトリを指定。
Output directory
に指定した場所に書き出される。
Sampling steps
:上げるとより高精度な画像が出てくる。処理が重くなる。余裕があれば60以上が良さげ。
Denoising strength
:小さくするほど元画像を維持する。0.1~0.2
が良かった。0.3
以上にすると出力画像が別物になってしまう印象。
Seed
:3DCGのソフトでもよく出てくる項目。-1
のままだとランダム。できるだけ毎回同じものを出したいので適当な固定値を入力。あまり詳しく説明できないので他サイトを調べてもらえれば。
Batch size
などはいじらない。
これで通常通りGenerate
をクリックすれば、フォルダに入っている画像1つ1つを次々に処理してくれる。
Output
のディレクトリを上のようにMyDrive
にしておくと、わざわざサーバー側のデータをコマンドでコピーしなくても待っていれば勝手に自分のドライブに画像ファイルが入ってくるので簡単。
私はDaVinci Resolve
(無料版)で書き出すのがもっともやりやすい。
AviUtil
でも出来る(と思われる)のでこちらのほうが軽いかもしれないが、私のケースだと連番読み込みが成功しなかったので使っていない。
DaVinci Resolve
の詳しい解説はしないが、連番読み込みの手順が新しいバージョンで変わっているようなので記しておく。
画面下のメニューからMedia
をクリック
上側にある...
をクリック。
Frame Display Mode
をSequence
に設定しておく。
これが連番で1つの動画にするモード(たぶん)
左上のウィンドウに連番ファイルをフォルダごとドラッグ&ドロップ。
登録された連番動画を下のMedia pool
の空所にドラッグする。
これであとはCut
などの画面でメディアプールから1つの動画として使用できるはず。
あとは書き出して終了。
個人的には単にBlenderで書き出したアニメシェーダーでも十分美しい。
わざわざチラつくAI動画にする必要があるのかという疑問は残る。
しかし、こちらのほうが表情が付いてタッチも手書き風になるので気に入ってはいる。
今後はもっと簡易CGキャラをイラスト化するテクニックを研究する余地がありそう。
今回はAIイラスト化する時に特別な処理をせず、動画書き出しもつなげるだけという非常にシンプルな手順。
今後は映像のチラツキをへらすなどの研究は続けたい。
ただ、正直AI絵の進化が早く、プログラム開発を行ってくれている方々が何かしら作ってくれそうではある。
待っているだけでも良いかと思う。