tile resampleとは？

Stable DiffusionのエクステンションであるControlNet(1.1)が持っている機能の１つ。

小さい画像をアップスケール(拡大して再生成)する場合に、細部を書き込みながらも元画像を維持する働きをする。

つまり元絵のイメージを保ちつつも画像のディティールアップに貢献する補助機能といってよいかと思う。

小さい画像を	アップスケールする時にクオリティアップ！

そもそもアップスケールって何

AIイラストでは大きいサイズの画像を生成しようとすると途端に処理時間が長くなってしまう。

そこで、まずある程度小さいサイズで何度か生成し目的に近い画像を作る。

次にそれを画像サイズを拡大しながらも細部をAIに加筆させることで良い画像に仕上げていくという作業が一般的。

この拡大する処理のことをアップスケールと呼ぶ。

画像サイズを上げるだけではダメ

では、実際にアップスケールはどうしたらいいのだろうか。

まずはStable Diffusionのデフォルト512 x 512サイズで生成してみる。

この画像を大きくしながらも細部をより綺麗にしたい。

生成サイズを大きくすればいいじゃない？

「画像サイズを大きくして生成すればいいじゃない」という考えが浮かぶが、そう単純ではない。

例えば上と同じプロンプト、シード固定で画像サイズを大きくして再生成すると

このように完全に違うイラストが描画されてしまう。

つまり同じキャラクターを同じ構図で「より細かく書いてほしい」という場合は画像サイズを上げるだけではダメ

標準のアップスケーラーじゃだめなんですか？

Stable Diffusionには標準でアップスケーラー機能がついている。

画面上部のExtrasタブにScale byというのがありこれが画像を大きくしてくれる。

しかし、これはあくまでAIが画像を引き伸ばしする機能である。

わずかにリファインされるが、新たな書き込みは殆ど追加されない。

あまりこだわりのないユーザーが見ると、この機能を使ったアップスケールは処理前も処理後も殆ど変わらず高解像度になっているようには見えない

Hires. fixじゃだめなんですか？

なら、画像生成時にサイズを大きくしながらも細部を書き込んで高解像度化するHires. fix機能を使えば良い、というのは1つの解だ。

つまりtile_samplerなど使わなくてもこれで良いのではないか？と思ったユーザーも多いだろう。

残念ながら、これにもデメリットがある。

では、実際にやってみて確認しよう。

元画像	Hires. fix

明らかに右の画像のほうが良くなっているし、元画像の雰囲気も壊していない。

しかし、気づいた人が殆どだろう。洋服の形状は違うし左手のポーズも変わってしまった。

え？だめなんですか？

これはこれで良い絵がでているので一見「いいじゃん？」と思いがちだ。

しかし512サイズで「これだ！」という画像ができた時にHires. fixを通したことでせっかくのイメージが崩れてしまうことが実はよくある。

そうなってしまっては、そもそも画像を大きくしないほうが良かったということになりかねない。

そこでTile Resample

前置きがかなり長くなったが、こういうときにTile Resampleが使える。

「元絵のイメージを崩さないで、細部を書き込む」機能だ。

用意するモデルファイル

次のサイトからcontrol_v11f1e_sd15_tile.pthをDLし、モデルフォルダにいれておく。

lllyasviel/ControlNet-v1-1 at main

設定

Preprocessorはtile_resample、Modelは上記のものを入れる。

あくまでアップスケールの「補助」ツール

tile_resampleを設定しておけば自動でアップスケールしてくれるものではない。あくまでそれらの補助ツールだ。

これを設定した上で画像サイズを大きくしたりHires. fixを併用したりするもの。

ここからはそれらと組み合わせるにはどうすればいいかを実例で交えて紹介する。

単純に画像サイズを大きくするだけでもOK

tile_resampleを設定しておけば、単純に生成サイズを大きくするだけでもアップスケールができる。

元画像	(比較用)Hires. Fixだけで1024にした例	tile_resample+ 1024サイズに変更

これを見てわかるようにtile_resample+1024サイズにしただけで、細部の書き込みを増やしながら元画像のイメージを殆ど維持しているのがわかる。

ただ、これを見ると色味が若干変わっているのでこの辺りは要調査かもしれない。

画像サイズに限界あり

画像サイズの限界はVRAMに依存するので注意。

Hires. fixを併用する

上の例は生成サイズを変更しただけだがHires. fix + tile_resampleでも良い

tile_resample+1024サイズ	tile_resample+512サイズ+Hires. fixで2倍に

このケースだと右のほうがわずかに書き込みが増えている。

元画像のイメージを少し崩しても書き込み量を増やしたい場合にHires. fixを併用する方法が有効かもしれない。

またHires. fixのDenoising Strengthは0.5よりも小さくすると画像が壊れがちなので0.6ぐらいを推奨。

あえて大きくするのもおもしろい(書き込みは増えるが元絵から離れる)

Hires. fixの簡単な使い方

Hires. fixを使ったことない人向けに解説すると

1. Hires. fixのチェックをON(隠れていた設定項目が現れる)
2. Upscale byに何倍に拡大するかを決める
3. ControlNetにtile_resampleと元画像を設定して生成開始

ひとまずこれだけでOK。より詳しくは別サイト参考。

画像サイズに限界あり

こちらも画像サイズの限界はVRAMに依存する。

3種類のtile

tile系には３種類のPreprocessorが存在するので解説する。

tile_resample

こちらが基本のtile_resample

アップスケールしながらもプロンプトによって効果やカラーを載せていく場合はこちらを使う。

tile_colorfix

こちらは元絵に忠実なカラーを再現するモード。

通常のtile_resampleだと色が変わってしまう問題に対応したもの。

可能な限りオリジナルに描かれている塗りを維持するようになる。

ただしデメリットとしてプロンプトによる影響を受けにくくなるので効果を載せる等のコントロールの幅が無くなる。

tile_colorfix+sharp

tile_colorfixだと線がすこし甘くなる印象があるが、それを補ってシャープにする。

tile_resampleとtile_colorfixのいいとこ取りをしたイメージ。

サンプルで比較

実際にサンプルを用意した。

オリジナル	tile_resample

tile_colorfix	tile_colorfix+sharp

VRAMの限界を超えてさらに大きくしたい

より大きなサイズを使う場合はTiled Diffusionのエクステンションを併用する。

GitHub - pkuliyi2015/multidiffusion-upscaler-for-automatic1111: Tiled Diffusion and VAE optimize, licensed under CC BY-NC-SA 4.0

これに関しては詳しく解説しないが、1つのエクステンションで2つの機能がある。

Tiled VAEをオンにすることで巨大な画像をタイルに分割して生成するのでかなり大きな画像も生成可能。

次の画像はtile_resample + Hires. fixで1536と2048サイズを生成した例。

1536サイズ	2048サイズ

さすがに2048サイズだと書き込める余地が多く、逆にAIが迷っているようになのでほどほどに。

これまでの例の中でも、こちらの1536サイズは線も美しく一番好みな結果となった。

エフェクトを追加するような使い方

更に一歩踏み込んだ使い方。

元絵のキャラを維持したままエフェクト的な書き込みを増やすテクニック。

1. 先にtile_resampleに放り込む画像を作る(今回は上の元画像)
2. Seed値を変える、プロンプトを全く別のイメージに変える
3. さらにStable Diffusion本体のモデルを変えてしまってもOK

こうすることにより、元絵のキャラクターに別の効果を与えることが出来る。

いくつか例をだしてみる。

zentangle等のプロンプト	starry sky等のプロンプト

モデルを変えて花びら系プロンプト	モデルを変えて水や自然系プロンプト

このようにそもそもtile resampleを使うことでキャラクターに効果を乗せるような動きをする。

実はこちらの使い方も非常に有用なのではないだろうか。

非力なPCを使っている人にもおすすめ

tile resampleはデフォルトの512サイズよりも小さい画像からスタートしてもかなりうまく作用する。

160x160の小さいサイズを拡大したらどうなるのかをテストした。

160サイズでAI生成	アップスケール(1040サイズ)

160サイズはかなり微妙な画像だがtile resampleが上手く作用してアップスケールに成功している。

小さいサイズの画像をいくつか選定して、好みのものだけアップスケールするというワークフローを経由すれば非力なPCでも好みの画像が作れそうだ。

ただし、あまり小さいサイズだと風景のような書き込みが多いイメージは作れないので、バストアップのキャラぐらいが精一杯になるかもしれないので参考までに。

おまけ1：Down Sampling Rateってなに？

ControlNetの設定の中にDown Sampling Rateというものがある。

こちらはシンプルに画像をボカす度合いになる。

この値を上げると、元画像がよりボケた印象になり、あまり上げ過ぎると生成される画像もボケた画像が出てきてしまう。

そしてこれが実際にどういう時に使うべきかはいまいち分かっていない。

安易に数値を上げてしまうとアップスケールどころか霞んだ効果になってしまうので基本はデフォルトの１のままで良い。

おまけ2：実はPreprocessorはnoneで良い

実はこの機能PreprocessorをnoneにしたままModel側だけ設定してやっても正常に動作する。

出力結果は上のDown Sampling Rateの設定1と変わらないので面倒なら設定しなくても良い。

さいごに

このようにtile resampleはアップスケールする処理のサポートとして、元絵のイメージを壊さないまま細部を書き込むような挙動になる。

自分がイメージしたままの画像を維持し、さらに上のクオリティを目指すユーザーには必須の機能になるかもしれない。

アップスケールを使ってクオリティを上げていく作業にぜひとも併用してみてほしい。