第二回概要

ComfyUIにてマスク関係に強いKJNodesを解説する記事第二回

第一回では主にマスクを作成するgenerate系を紹介した。

今回はmaskingの項目の中にあるノード全体を見ていく(generateは除外)

マスクごとにプロンプトを変えるノード

KJNodes > masking > conditioningのConditioningSetMaskAndCombineノード

mask1枚目にはAプロンプト、mask2枚目にはBプロンプト、といったようにプロンプトを部分で分けるノード。

次のように組むと

次のように左右で景色を分けるなどということが可能

マスクの範囲を広げる

GrowMaskWithBlur

マスクのフチを外に押し出すように拡大する。Davinci ResolveではErodeノードに相当するもの。

例

左のマスクをGrowMaskWithBlurで外側に広げたものが右側。

簡易設定解説

• Expand: 外側に広げる範囲
• incremental_expandrate: 不明
• tapered_corners: 角になっている部分が鋭角になる？試してみたほうが良い
• flip_input: マスク反転。invert maskをかけたのと同じ効果
• blur_radius: 数値を上げるとマスクのフチをぼかしてくれる
• lerp_alpha: 不明
• -decay_factor: 不明

特定の色を抽出してマスクにする

ColorToMask

0~255の数値で特定のRGB値を指定して、そのカラーをマスクとして扱うノード

Photoshopでいうところの色域指定と同じように特定の1職を指定して、その色に近似している色をマスクとする。

おまけ：Convert Image to Maskとは違う

Convert Image To MaskはRGBのうち１チャンネルを選んでそれをマスクにするもの。

例えばこの場合はR値が1でも含まれていればマスクになる。

右下はR値が含まれないグリーン系の色なので黒になっている。

ちょっと混乱しがちだが全く違うマスクが出るので注意。

色の雰囲気を伝送するフィルタ

ColorMatch

※わかりやすくするためmask用にLoad Imageを２個配置しているが、厳密には１個で作れる

厳密に調べた訳では無いがmethodのreinhardの論文(だと思われる)ものの冒頭を読む限り、とある画像の色情報を別の画像に伝えて同じような質感にするものだと思われる。

絵自体はimage_targetが出力されるが、色の質感はimage_refにいれたものになる。

マスクを使って画像を四角形にクロップ

BatchCropFromMask

シンプルにmasksピンに入ったマスクで画像を切り取るもの。バッチ処理に対応。

ただし、正確にマスクで塗られているピクセルを切る取るわけではなく、マスクされている部分を囲む四角形(bbox)をクロップする仕組み。

この範囲を正確にコントロールする方法がいまいちわかってないがbbox_smooth_alphaは合成時に自然にフチを合成するためのアルファ分の余白になると思われる。

crop_size_multi = 2, bbox_smooth_alpha = 0.5にすると元のbboxと同じサイズが取れる。

Outputピン

• original_images: 入力ピンに入ってきたものをそのままスルーしているだけのもの, 切り取る前の絵
• cropped_images: マスクで切り取られた後の画像
• bboxes: バウンディングボックスが入っている。座標のような数値データ。
• width, height: それぞれのバウンディングボックスの縦横サイズ

クロップ画像を元の位置にはめて戻す

クロップした画像を更になんらかの処理をしてもとに戻すというケースは最も利用価値が高い例だと思う。

BatchUncropというノードと繋げることで可能。

ただ、これだと切り取って戻しただけなので意味無し。 なにか途中に加工を加えてみる。

上で紹介したColorMatchを使って色が変化した元画像に、加工してない元画像の重ねた例。

これは元画像側に加工を施しているが、クロップした方に加工を施すことも考えられる。

BBOXが直接繋がっていれば、クロップイメージはサイズを変化させても元画像に戻る。

なので切り取って様々な加工を施してもとに戻すといった使い方が考えられる。

何も塗られてないマスクデータを除去する

FilterZeroMasksAndCorrespondingImages

まずmasksとoriginal_imagesには同じ枚数の入力がある前提(マスクと画像が同じ枚数でセットになっていること)

ここで、マスクが真っ黒になっている(マスクの意味をなしてないデータ)があった場合、そのマスクとソレに対応した画像を除外するノード。

調べた限りこのノードを使っている実用例は見当たらなかった。マニアックなノード。

テキストで指定してマスクを生成する

BatchCLIPSeg

次のように画像とテキストを入力し、テキストに書かれているものをマスクで出力するノード

マスクの精度こそ大したことないが、たったこれだけのノードで対話するように物を指定するだけでマスクを切ってくれるすごいノード。

マスクを2値化する

RoundMask

マスクを2値化するノード。

Roundなので恐らく四捨五入の計算だと思われる。

マスクのサイズを絶対値で変更する

ResizeMask

絶対値でマスクサイズを変更するノード。

変換後のwidthとheightも取れるようだが、何に使うのだろうか。

マスクをズラしたり回転したりする

OffsetMask

• x,y: それぞれの軸で移動する。ピクセル単位？
• angle: 回転することができる。恐らく内部的には中央で回転させたあと移動する順番
• duplication_factor: この数値のバッチマスクにしてくれる
• roll: 不明
• incremental: duplication_factorがオンの場合、angleで回転した画像を更に次のバッチで回転していく
• padding_mode: 不明。borderにすると、中央からズレてもまた中央に戻る？？

incrementalの例

BBOXのデータをINT値で分解する

BboxToInt

BBOX内のデータを取り出したい時や演算して戻すなどの特殊な処理で使うと思う。

これを使うケースの多くは上で解説したBatchCropFromMaskと併用する場合ではないだろうか。

例えば演算して戻す場合

このようにBBoxを意図的にズラす、拡大するなどの処理になるのでよほど上級でなければ使わないと思う。

が、一番有り得そうなのがこういった使い方なので覚えておいて損はない。

不明：BBOXの配列を分裂させる？？

SplitBboxes

こちら全く使ったことも見かけたこともないので詳細不明。

不明：ComfyUI内で音を使う関連？

OffsetMaskByNormalizedAmplitude

こちらのノードは恐らく次のカスタムノードと組み合わせて使う用

a1lazydog/ComfyUI-AudioScheduler

オーディオの波形に応じてマスクを変形するものだろうか？

海外のフォーラムで一つだけ例をみかけたが、Comfy内でオーディオを扱うことに私自身あまり興味がないためこれ以上調べていない。

さいごに

マスクの処理に関しては結構色々なノードがあった。

中でもBatchCropFromMaskは何かとよく使うことになりそうな予感がある。

別ソフトになるがCGのマテリアルを作る専門のソフトAdobeのSubstance Designerなどではもっとたくさんのマスク処理系のノードがある。

マスクを制するものは画像を制すると言っても過言ではないのでこの手のノードは後々役に立ってくることは間違いないと思う。