新次元のスタイル継承！「ReferenceOnly」の使い道

こんばんは、スタジオ真榊です。アップスケールの概念を覆した「Tile」に続き、新たなControlnet1.1の新技術「ReferenceOnly」が界隈を騒がせていますね。この機能、入力した画像を構成する「スタイル」を読み取って、同じテイストの別のイラストを生成するというものなのですが、特徴の再現力が半端ない。LoRAの代わりになる！と言うといささか言い過ぎかも知れませんが、「うちの子」の画像を読み込ませるだけで簡単に似たイラストを量産できてしまいます。

そんなわけで今回は、これまでと全く異なるアプローチでキャラクターやタッチの再現ができる「ReferenceOnly」の使い道についての特集です。一体どんなことができるのか？３種あるプリプロセッサの違いは？複数キャラの再現や色移り防止は可能なのか？いろいろ実験しました。

目次

「ReferenceOnly」の導入方法
具体的に何ができるのか？
プリプロセッサ３種の違い
ReferenceOnlyの使い方
「ヒット率が別次元のガチャ」が可能に
「忠実度1.0」にするとどう変化する？
「Reference adain+attn」は"再現度"が高い
「Reference adain+attn」で忠実度を下げてみる
「reference_adain」は"自由度"が高い
MultiControlnetによるポーズ操作
プロンプトによるポーズ操作
色移り防止実験
複数キャラの再現に使えるか？
「inpaint」でキャラクターを入れ替え
多人数の要素は引き継げるか
終わりに

「ReferenceOnly」の導入方法

まずはインストール方法からですが、基本的には記事執筆時点の最新版「v1.1.171」以降のsd-webui-controlnetを導入するだけでOK。プリプロセッサ一覧に「ReferenceOnly」など３種が追加されていれば成功です。
※Controlnet1.1の導入、もしくは1.0からのアップデート方法についてはこちらをご参照ください。

Controlnetが理解る！モデル15種＆プリプロセッサ35種を徹底解説

これまでのControlnet（CN）技術は、CN用の各種学習済みモデルが本体としてあり、モデルが読み込めるように元画像を「下処理」するプリプロセッサと組み合わせて使うのが普通でした。例えば、モデル「LineartAnime」を使って線画を継承したイラストを生成したい場合は、元画像をプリプロセッサ「LineartAnime」に読み込ませて、いったん黒地に白線で描かれた線画にしてから読み込ませる必要がありました。

「ReferenceOnly」はこうした「モデルが主、プリプロセッサが従」の関係ではなく、プリプロセッサのみで動作する全く新しいControlnet技術です。つまり、モデル本体を新たにダウンロードする必要はありません。

アップデートに成功していれば、プリプロセッサ欄に上記の三種が追加されています。こちらのうち一つを選ぶと、モデルを選ぶ欄が消失するので、あとはテイストを参照するモデルとなる画像を読み込ませればOKです。

こちらがControlnetの操作画面。

「Style Fidelity」はスタイルの忠実度を示す値で、0.5がデフォルトです。１に近づくと、AIは元画像のスタイルをより忠実に再現しようと試みます。ただ、この忠実度操作はControlモードが「Balanced（バランス）」モードであるときしか使えず、「プロンプトが重要」「コントロールネットが重要」モードではスタイル忠実度を操作することはできないとされています。（入力すること自体はできるようですが、意図した結果にならない）

具体的に何ができるのか？

（引用元：https://github.com/Mikubill/sd-webui-controlnet/discussions/1236）

公式の例では、おなじみの犬の画像をReferenceOnlyで読み込んでプロンプトを「草原を"走る"犬」に変更し、元画像と似た犬の別カット（に見えるもの）を生成することに成功しています。全く同じ犬かと言われると微妙ではありますが、被写体だけでなくキャンバス全体の雰囲気をよく保持しつつ、「コピー」や「再生成」に近いimage2imageとは別アプローチで画像の変更を試みていることがよく分かる例です。

こちらはアニメ調イラスト。製作者のlllyasviel氏（以下イリヤスフィール氏）によれば、CNモードを「バランスモード」とし、 「Style Fidelity」（スタイル忠実度）最大の1.0 を使用したとのこと。この技術の登場により、「同じキャラクターを少し変更して描く」ことがより現実的になったとしています。

また、学習済みモデルを必要としないことにもメリットがあるようです。例えば、Controlnetには「Shuffle」やT2I Adapter「Style」といった画像のテイストを継承する技術が他にもありますが、こうした技術に使われる学習モデルには教師データによって実写が得意とか、アニメ調イラスト向きといった差異が生じてしまいます。イリヤスフィール氏は、ReferenceOnlyには学習モデルを必要としないため、そうした得手不得手なく利用できると説明しています。

iframe link

「こういうやつ描いて」「でも元画像を書き写さないで（no i2i）」というのがreference onlyの本質。まさに「参照だけ」させる技術なのですね。設定も非常にシンプルで、使いやすさは抜群。誰でもバリエーションが簡単に出せるので、LINEスタンプ風のアイコンなんかも作れてしまいます！

iframe link

プリプロセッサ３種の違い

さて、追加された３つのプリプロセッサは、それぞれモデル画像からどうやってスタイルを参照するかの手法が違うため、それぞれスタイル再現の忠実度も異なります。それぞれの特徴は以下の通り。

①reference_adain
　「AdaIN」(Adaptive Instance Normalization)というモデル画像のスタイルを高速・高精細に転送する技術を使用して、画像のテイストを継承できるプリプロセッサ。忠実度が低いが元画像に引っ張られにくい特徴がある。
②"reference_adain+attn
　attnはAttentionLink、つまり③の「reference_only」の技術を指す。①と③の技術を合わせた混合タイプで、3種の中で最も再現度が高い。
③reference_only
　モデル画像をStableDiffusionのAttention層に直接リンクすることで、モデル画像のスタイルをSDに参照させる技術を使うタイプ。バランスタイプ。

製作者のイリヤスフィール氏によると、現時点では「reference_adain+attn」をStyle Fidelity1.0で読み込ませるのが「最先端かつ最良の方法」だそう。ただ、この組み合わせは「場合によっては強力・堅牢すぎるため、デフォルトとして使用することはお勧めしない」とした上で、通常は「reference_only + Style Fidelity=0.5」を使用するのが良いと説明しています。

ReferenceOnlyの使い方

使い方は非常にシンプルで、プリプロセッサを選んでスタイルを継承したいイラストを読み込ませるだけです。上の画像はこちらの魔女子さんのイラストをreferenceOnly、バランスモードで読み込みませたところ。忠実度はイリヤスフィール氏のおすすめするデフォルト値「0.5」としました。768x512pxに高解像度補助を1.5倍で掛け、プロンプトは元画像と全く同じもの、Seed値はランダムです。

左が元画像、右の４枚が生成結果です（チェリーピックなし一発出し）。プロンプトは以下の通り。

「(anime color:1.2),open mouth,shiny black hair,side ponytail with purple ribbon, wearing glasses,sideburns, beautiful purple eyes, (red and yellow border pattern Scarf:1.2),black long coat,witch,holding tree branch,harry potter,BREAK magic school,zettairyouiki,32 years old,high resolution,masterpiece,best quality,extremely detailed CG,official art,(overlooking fantasic panorama view:1.2),beautiful sky,smile,light particles,light rays,strong light,lens flare,beautiful sky,cinematic lighting,dynamic lighting」

プロンプトにもともと「witch hat」がなかったので魔法の帽子が出ませんでしたが、ほかは概ねキャラクターの特徴が概ね継承されていることが分かると思います。これだと「確かに似ているけどただプロンプトが強いだけなんじゃないの？」と思われてしまうので、同一SeedでCNをOFFにして再生成してみましょう。

さきほどと比べると、まずボーダーのマフラーが失敗しており、紫のリボンも安定していません。メガネが消失したり、２人になってしまったケースも。桜の枝をつかんでしまっているのは、ハリーポッター作品っぽい魔法の杖を出すために入れた「holding tree branch（木の枝を持っている）」が誤解されたものです。CNありと見比べると効果は歴然としていますね。

・「ヒット率が別次元のガチャ」が可能に

ReferenceOnlyが凄いのは、i2iでも同一Seedのバリエーションでもない形でキャラクターの特徴を維持することができる点。これによって、これまでにない高精度のガチャが簡単にできるようになりました。

そもそも、左のモデル画像自体がこのプロンプトからよくできた生成物（賢木の意図したものにたまたま沿ったもの）をチェリーピックしたものです。その最良の結果をもとにバリエーションを生成できるわけですから、さきほどCNをオフにしたときのような色移りやプロンプトの誤解、キャラクターの分裂や要素の混線といった事故を最小限にとどめながら、正解しかない「ヒット率が別次元のガチャ」を繰り返すことができるわけです。

これまでは「プロンプト指示→多数の結果の中からベストのものをチョイス→加筆やアップスケールでブラッシュアップ」だったのが、「プロンプト指示→多数の生成結果の中からイメージ通りのものをチョイス→reference onlyで意図を維持しながらより高精度な生成を繰り返す」ことが可能に。従来はプロンプトの混ざりやAIの勘違いを減らすために、同じSeed値でプロンプトを工夫してみたり、ポーズをCNで固定してみたり、BREAK構文や「sd-webui-cutoff」を使って色移りを防いでみたりと、さまざまな試みをしてきたわけですが、ReferenceOnlyによって「自分はこういうものを求めているんだ」と直接AIに指示できるようになったことは大変画期的と言えるでしょう。

「忠実度1.0」にするとどう変化する？

さて、使い方と利点が分かったところで、各種の実験を試してみます。まず、先程は「0.5」だったスタイル忠実度を最大の「１」に変更して生成してみましょう。忠実度による変化を見るために、Seed値を同一にしています。間違い探しレベルですが、左の4枚が忠実度0.5、右が忠実度1.0です。

高解像度化の過程で細部は書き換えられてしまうので、例えば袖の細かな違いは忠実度由来とは言い切れないかもしれませんが、意外とそこまでビビッドな変化はありませんでした。そこで、今度は製作者が「現時点で最良」という「Reference adain+attn」を試してみます。

「Reference adain+attn」は"再現度"が高い

非常にわかりやすい結果となりました。AdaIN技術とReferenceOnly（AttentionLINK）を合わせたのがこの「Reference adain+attn」プリプロセッサなわけですが、モデル画像の参照度が強いため、単にキャラの特徴を継承するだけにとどまらず、キャンバスの全体の構図やカメラの画角など、かなりの要素が元画像に似ています（全て左向き、背景もそっくり）。キャラクターの再現度はUPしていますが、「あくまで参照するだけ（ReferenceOnly）」という強みが薄れ、i2iや同一Seedの「バリエーション」に近い結果となっています。

魔法の帽子が再現されるよう、プロンプトに「witch hat」を加えて生成したのがこちら。

これが、イリヤスフィール氏が警告した「Reference adain+attn✕1.0が現時点で最上の技術だが、デフォルトで使用するには強力すぎる」という言葉の意味なのかなと思います。元画像の再現度が高すぎて、本来意図した「参照」の枠を超えて「コピー」に近い印象を受けるということなのでしょう。

恐らく、本来この機能でやりたいのは「元画像のテイストを維持しながら意図した形に変容させる」こと。例えばただ立っているだけの少女のイラストを走らせたりするようなことなので、あまり参照度が強すぎると任意の変化をつけづらくなるのではないかなと思います。逆に、さきほどTwitterアイコンからLINEスタンプのようなものを作ったときのように、元画像とほとんど同じポーズのバリエーションを作りたい場合は「Reference adain+attn」の方が向いていると言えるでしょう。

「Reference adain+attn」で忠実度を下げてみる

ここからはスピードアップのため、高解像度補助をカットして実験を進めていきます。なお、witch hatのプロンプトは書き加えたままで進行します。（その方がわかりやすいので）

まず、「Reference adain+attn」で忠実度を0.5に弱めるとどう変化するかを確かめます。

こちらもおおむね、「１」との差はさほどビビッドに現れませんでした。むしろ、どのプリプロセッサを使うかによってはっきりと結果が分かれていることがわかります。

「reference_adain」は"自由度"が高い

リファレンス３兄弟の最後の一つ、「AdaIN」を忠実度0.5で試したところ、面白い結果が出ました。キャラクター衣装はそこそこ維持しつつも、かなり構図の「コピー度」が下がり、幅が出てきたように感じます。ただ、他の2種に比べるとやはり再現度が見劣りするため、あえてこれをお勧めする理由は現時点で見当たらないかな、という印象です。

忠実度「1.0」で試したのがこちら。これもSeed値が同じだと間違い探しレベルですね。目的に合わせて、お気持ち程度に操作するのが良いと思います。

MultiControlnetによるポーズ操作

ここまでの実験で、構図が似通っても構わないので元画像の再現度を高めたい場合は「Reference adain+attn」、構図もそれなりに変化させたいなら「ReferenceOnly」をチョイスするのがベターであることが分かってきました。「Reference adain+attn」の再現度の高さは魅力的ですが、例えばOpenPoseやScribbleで構図を指定しつつ、Reference adain+attnでキャラクターを再現することができるのかどうかが気になってきます。

というわけで、さっそく試してみました。

最も忠実度の高い「Reference adain+attn」を、Openpose_fullで制御を試みます。ポーズのモデルには、がお～ポーズ（claw pose）が可愛かった過去のイラストを採用。プロンプトは特にいじらず、そのままで生成します。

ポーズの制御には成功しましたが、Openposeは画質の低劣化を招きがちなので、ここから工夫をしてあげる必要があります。Weightをいじってあげればもう少しきれいになると思いますが、今回は別手法で行きましょう。例えば、このうち１枚の輪郭だけをいただいてきて、「LineartAnime」で読み込ませ直す方法が考えられます。

Openposeに比べてLineart系は破綻しにくいので、高解像度補助を軽率に掛けてあげれば、それなりに見えるレベルに持っていくことができます。Softedgeを使ってもいいですね。細部が破綻していても、ポーズができれば「Tile」で詳細化しつつアップスケールすることが可能です。

指の破綻は要修正ですが、このようにポーズの変更自体は可能なことがわかります。

プロンプトによるポーズ操作

ちょっと気になったのが、魔女の帽子のないプロンプトで生成したイラストは帽子がない状態で描かれていたこと。そもそもMultiControlnetを使わなくても、プロンプト変更だけである程度操作することができることは、座っている犬の写真から走っている写真を生成した冒頭の例でも明らかです。そこで、「Claw pose:1.2」を冒頭に入れたプロンプトで生成してみることにしました。

最も忠実度の高い「Reference adain+attn」を忠実度「１」で掛けつつ、プロンプトは違うポーズを指定。

手は崩壊してしまいましたが、このようにReference adain+attnであってもポーズや表情の変更自体は可能なようだということが分かりました。ただ、体の向きや背景などがやはりモデル画像に引っ張られているので、今度はよりバリエーションを出せる「ReferenceOnly+忠実度0.5」を試してみます。

こちらはポーズの自由度が高く、やはりバランスがよく感じます。もちろん万能ではありませんが、「Tile」と同様、通常の画像生成過程に食い込んできそうなかなりの強さを感じますね。

色移り防止実験

次に、拡張機能「Cutoff」の検証として以前行った「色移り防止実験」を試してみます。

ノーモア色移り？プロンプトの影響範囲を操作しよう！

これは「オレンジTシャツ・赤リボン・茶靴・ピンク髪・青い目・グリーンのスカート・黄色の靴下」という複雑怪奇な格好の女の子をミスなく生成する検証だったのですが、同じことを「ReferenceOnly」で再現できるか？というのが今回の実験です。

プロンプトは「a cute girl, orange T-shirt,red ribbon,brown shoes, pink hair, blue eyes, green skirt,yellow legwear」で、Cutoffを使って正解した１枚を元画像として生成してみます。

左の画像を基に生成したのが、右側の4枚になります。

Cutoffを使わなくても、かなりの再現度になりました！Cutoffに比べて少し打率は低い（紫のスカートが出てしまった）ものの、プロンプトにない髪型や顔立ちの維持も含めて、おおむね左のキャラクターを保存できています。

ちなみにこちらはCNをOFFにしたもの。服と髪以外はほぼ全滅しており、「部分ごとの色分けなど夢のまた夢…」というムードが漂っていますが、数ヶ月前はこれが当たり前だったんですよね。

おまけ実験として、CutoffとReferenceOnlyをどちらもONにしてみたのがこちら。よりヒット率が上がり、もとの女の子の特徴も維持できていることがわかります。

複数キャラの再現に使えるか？

もうはるか彼方の記憶となってしまいましたが、かつてこのFANBOXで「夫婦強制法」と名付けたテクニックがありました。（下記記事には18禁描写があります）

男はなぜ消える？男女の絡みを出すためのエロプロンプト術

当時はまだSDwebUIではなくNovelAIを使っていましたが、いずれにせよなかなか特定の容姿の女性キャラクターと男性のからみを出すのは難しく、どうしても男性が消えがちだったり、容姿情報がまざったりするのが当たり前でした。夫婦強制法は「男性はこういう容姿、女性はこういう容姿」と指示するよりも「夫婦のイラストを書いて」と伝えるとAIが求めているものを理解してくれやすかったのを利用したものですが、referenceOnlyを使えばこの迂遠なやりとりを回避できるのではないか？ということで、いろいろ実験しました。

これは大変重要な実験で、もしこれが可能なら漫画のコマを生成するのが非常に容易になります。特に男女の２ショットでは、男と女性キャラそれぞれの容姿が上手に再現できていないと他のコマとの齟齬が生まれてしまうので、例えば「短い金髪でスーツ姿の痩せた男性」と「この容姿のヒロイン」が○○しているところ、という指定がreferenceOnlyでできれば大変ありがたいですね。

まずは通常のプロンプトで男女がからむイラストを作ってみました。お題は「金髪の男と街なかで腕を組んで歩いている灰色ケーブルニットの人妻（黒髪青目・憂い顔）」です。これがもう大変で、普通に生成するとこのように要素が混じりまくります。

また漫画で使用するとなると、表情も重要。チェリーピックとインペイントで、なんとかこちらのイラストが得られました。（アップスケールはあとでするので品質より被写体だけが重要）

さらにこれをアップスケールするのも大変なんですね。普通にこのままアップスケールを試みると、

このようになってしまいます。ヒロインへの指示が男側にも効いてしまい、女体化や衣装の混線が起きていますね。これを避けるには、「キャラを別々にインペイントしてi2iして画像編集ソフトで合体」といった面倒な作業をしなければならないことが想像されます。

では、referenceOnlyを使うとどうでしょうか。

できるだけこの構図も表情も維持しながらバリエーションを出したいので、最も強力なreference adain+attnを忠実度１で掛けます。プロンプトは生成時と同じ。

このように、全くの無為無策で偶然に任せたガチャよりも高精度に意図したイラストを量産することができました。

大まかにできていればあとはimage2imageで整えてあげたり、加筆したりしてイメージ通りの絵に寄せていくことができます。偶然の産物（SSR）をスタート地点（セーブ地点？）にして、SR確定ガチャを回せる感じというと伝わりやすいでしょうか。

漫画っぽい一コマにしてみたところ。以前はここまでたどり着くのに大変な時間と労力が掛かっていたので、今回の技術によって格段にガチャの手間が減ったと言えると思います。

「inpaint」でキャラクターを入れ替え

さらに進展して、もし一部分がイメージと違うイラストが出てしまったときに、「顔だけを狙って既存キャラクターに変えることができるのか？」という実験もやってみました。例えば、ヒロインの顔だけがちょっと違ってしまったときに、referenceOnlyでヒロインの顔を読み込ませて「これに書き直して」と指示できたら、漫画制作などにとても使いやすくなります。

モデル画像はこちらのイラスト。これの顔面部分だけを「うちの子」に変換することができるでしょうか。こちらのイラストをinpaintで読み込み、顔面部分を塗りつぶします。

Controlnet画面はこのような設定。プロンプトは「1girl,smile,red glasses,side ponytail with purple ribbon」としておきます。マスクされたコンテンツは「元の画像」としないと崩壊するので注意。

「うちの子」をCNで読み込ませます。今回はreferenceonlyを使いました。

こちらが生成結果です。

完全にそっくりにはなりませんでしたが、要素は引き継げるといったところでしょうか。学習モデルなどを揃えたり工夫すれば実用レベルになるかもしれませんが、確実に一発でこのキャラに変更できる！とまでは行きませんね。さらに再現度を上げるためには、LoRAなどと組み合わせる必要があるかもしれません。

多人数の要素は引き継げるか

さきほどは男女のケースで実験しましたが、さらに登場人物が増えた場合はどうでしょうか。こちらのイラストを基に、スタイルを引き継ぎながら、「４人の女の子」「怒っている」「屋内」とプロンプトを書き換えて生成してみます。

まずは強めの「reference adain+attn」を忠実度1.0で試してみた結果…

やや怒っている感じはあるものの、キャラクターは３人になってしまいました。

こちらは弱めの「reference only」忠実度0.5。

こちらはやはり変化させやすいようで、背景はより「室内」らしく、怒っている表情もより強く出ています。しかし、キャラクターの人数は３人が限界だった模様。

実はこれ、もう一つだけ実験を行いました。それがこちら、t2iするときの生成サイズを1536x1024pxに変更したものです。

崩壊はしているものの、768x512で生成したさきほどの失敗画像に比べて、かなりの再現度があることがわかります。特に左右の子は相当「同じ子」という感じが出ていますね。生成サイズがでかいので崩壊してしまうのは避けられないのですが、人数が減ってしまうのはやはりキャンバスサイズのせいだということがうかがえます。i2iを駆使したり、別のCNモデルと組み合わせるなどすると、もしかしたらこうした崩壊を防ぎながら多人数の再現ができるかもしれません。

終わりに

以上、駆け足でしたが、ReferenceOnlyの使い道について各種実験の結果をお伝えしました。結論をまとめますと、

・Referenceシリーズは簡単にバリエーションを出せる新機能。プロンプトを書き換えて任意の変化をさせることも可能
・構図が似通っても構わない場合は「Reference adain+attn」、変化させたいなら「ReferenceOnly」がおすすめ
・「LoRAの代わりになる」と言えるほど万能ではないものの、色移り防止やキャラ要素の混線をある程度防ぐことができる
・漫画のワンシーン描写、LINEスタンプの量産、「たまたまよくできた生成結果をスタート地点にする」といったさまざまな使用用途がある

ーというところでしょうか。

特に有望そうなのが、やはりチェリーピックしたものをモデルとして「参照」させて、よりヒット率の高いガチャを行う方法。これはどんなユーザーにも通常の生成ルーチンに組み込める、非常に恩恵の高い使い方だと思います。特に、ヒット率の低いシチュエーション（男女混合・背後からのショット・人物相関図など）を再現したいときに有用ですし、もう少し踏み込んだことを言うと、エッチシーンの量産などにも有用なのではないかと思います。同じ画角で似たキャラの違う画像を出せるということは、数百枚出してチェリーピックするだけで、おそらくエッチ漫画のコマ素材が揃ってしまうからです。

かなり幅広い実験を行いましたが、シンプルでいて奥深い機能ですので、引き続きreferenceOnlyについては実験を続けたいと思います。

少し話題は変わりますが、先日「studiomasakaki.com」というドメインを取得してみました。

PixivFANBOXのレギュレーション変更についてはまだアナウンスがありませんが、当サークルのFANBOXも継続不可となりましたら、こちらのサイトにシームレスに移行できるように準備を整えておりますので、どうぞご安心ください。もちろん、移行タイミングによって支援金の二重払いのようなことが起きないようにしますので、そのあたりもどうぞご心配なく！　

iframe link

このところ、新しいサイトが次々に有償支援に乗り出していて大変ありがたいところなのですが、中には規約が怪しかったり、運営企業の実態がよく分からなかったりと、まだまだ玉石混交といったムードがあります。単なる画像投稿サービスであれば多少のサーバーエラーやお問い合わせ対応の不備などは容認できるのですが、支援系サイトでは支援者からの着金がいったん企業側にプールされるかたちが多く、国内では某サイトで遅配事件も起きていますので、クリーンな決済を提供できるか、トラブルがあったときにきちんと対応できるマンパワーがあるかも含めて、信頼できるサイト（企業）かどうか見極めたいと思っています。

それでは、今回も長くなってしまいましたが、本日はこのへんで。

再びコロナが流行っているようですので、皆様体調にはお気をつけて！
スタジオ真榊でした。