にじジャーニーが理解る!キャラ再現からパーソナライズまで (Pixiv Fanbox)
Content
こんばんは、スタジオ真榊です。今夜はアニメ/マンガ風の画像を生成できるAIウェブサービス「にじジャーニー(niji journey)」についての記事を最新アップデートしてお届けします。Niji journeyでは2024年8月から、公式サイト上での画像生成が整備され、リファレンス機能なども使いやすくなっています。この記事では、Niji journeyの始め方から、キャラクターの一貫性を保つ機能や個人の好みを反映させたりする特殊機能まで、14章/1万8000字の大ボリュームで網羅しています。
<にじプロンプトGPTも配布!>
また、Niji journey用のプロンプトが簡単に作れる自然言語プロンプト生成GPTをChatGPTで作りましたので、支援者の方向けにURLを公開します。日本語で適当に「こういうプロンプト」と頼むか、画像をぺたっと貼るだけで、いい感じの英語プロンプトを提案してくれます。
細かなパラメータをいちいち設定しなくても、単純な日本語のプロンプトだけで生成でき、一枚絵として説得力のあるイラストを作れるのがNiji journeyの強み。「最低料金月額10ドル」の価値は十分以上にあると感じているので、関心のある方はぜひこの機会に🌈journeyしてみてください!
目次
1.Niji journeyとは?
2.Niji journeyの始め方
3.四つの課金プランの違い
<更新日に注意!>
<規約違反に注意!>
4.初めての生成
5.Nijiプロンプトの基本
6.Niji journey公式サイトでの生成方法
7.さまざまな追加生成機能
Vary(バリエーション)機能
Upscale(アップスケール)機能
Zoom(ズーム)機能
Pan(パン)機能
Remix(リミックス)機能
Rerun(ランダム再生成)
8.Discordで他人に見られずに生成するには?
9.パーソナライズ機能を使ってみよう
<自分のパーソナライズ番号を知ろう>
<Fastモードボーナスももらえる!>
10.容姿に一貫性をもたらす「キャラリファレンス」
<Discordでのcrefの仕方>
<公式サイトでのcrefの仕方>
<--cwで参照度をコントロール可>
11.画像をプロンプト化する「Image Prompt」
12.画風をコントロールする「スタイルリファレンス」
<Discordでのスタイルリファレンス>
<crefとsrefを同時掛け>
<公式サイトでのスタイルリファレンス>
<ランダムなスタイルリファレンス>
13.その他の特殊操作
【ネガティブプロンプト】
【ブレンド】
【プロンプト出力】
【情報開示】
【設定画面呼び出し】
【アスペクト比】
【生成モデル指定】
【スタイル設定】
【スタイライズ値】
【バリエーション量】
【マルチプロンプト】※Niji6未対応
【プロンプト簡略化】
【permutation機能(プロンプトの一部変更)】
【repeat生成機能(バッチ数指定)】
14.終わりに ローカル生成との連携
1.Niji journeyとは?
画像引用:にじジャーニー公式ページ
「にじジャーニー(nijijourney)」は、Midjourneyをベースに開発された、アニメやゲームなどの2次元イラストに特化した有償の画像生成AIツールです。ChatGPTで使えるDALL-E3と同様、日本語プロンプトに対応しており、「ポニーテールでセーラー服姿の女の子がこちらに手を振っている。背景は青空」のようなプロンプトを入力すると、内部的に英語に翻訳して画像を生成してくれます。チャットSNS「Discord」やスマホアプリから画像生成できるほか、最近は公式Webサイトの生成機能も充実してきており、どこからでも快適にイラストづくりや生成履歴の管理ができるようになってきています。
…とたいていのサイトには書いてあると思うのですが、さまざまな画像生成サービスを試してきた個人的感想から申しますと、Niji journeyの最大の特徴は、現行生成サービスの中で最も魅力的な色彩・構図感覚を備えていることです。特に、このような現実ではあり得ないシチュエーションにおける「イラスト的な完成度の高さ」は特筆すべきものがあります。
私は普段、最終的にはローカル生成と加筆でイラストを仕上げるのですが、全体の構図の案出しをするときにはNiji journeyを下敷きにすることが増えてきました。もちろん、キャラクター再現力やインペイント能力、そしてNSFW生成などはNovelAIに軍配が上がりますし、ローカルにおけるLoRAやControlnetといった機能の自由度には及びませんが、Niji journeyの美的感覚は最もイラスト的かつアーティスティックだと感じています。
ちなみにこちらは、左上からDALL-E3、NovelAI、下段がローカル自分モデルとImagen3で同じテーマ(上空から海へ落下する少女)のイラストを生成したもの。どれもアップスケールなど掛けず一発でポン出ししただけですが、Niji journeyの構図提案力が優れているのは明らかだと思います。
これは、Niji journeyにイラストレーティブな構図をまず提案してもらって、それをNovelAIやローカル生成、加筆によって仕上げたものです。Nijiにも弱点はあるのですが、うまく長所だけを引き出してあげると、それまでできなかった表現ができるようになると感じています。
2.Niji journeyの始め方
Niji journeyを始めるのに必要なものは、ネット環境のほかは「Discordのアカウント」と「最低月10ドル(年払い8ドル)の課金」の2つだけです。記事執筆現在、PCからは無料生成ができませんが、スマホアプリでは20回のお試し生成が可能です。
始めるまでのフローチャートは以下の通り。
①公式サイトにアクセスして「今すぐはじめましょう!」をクリック
②次の画面で「ディスコードに参加しましょう!」をクリックすると、Discordのログイン画面に遷移します。まだDiscordのアカウントを持っていない方はここで登録しておきましょう。
③続いて、こちらの「招待を受ける」を押せば、Discordに遷移します。
④Discordにログイン成功したら、こちらの画面が表示されます。必要に応じてブックマークしておきましょう。(Niji journey用のアカウントができたので、先ほどの公式サイト上でも生成ができるようになっています)
・「サーバーガイド」「チャンネル&ロール」などと書かれた左側のサイドバーを下にたどると、「画像生成」「画像生成-2」「画像生成-3」...とチャンネルが並んでいるので、どれかを選んで入室してみましょう。これらのチャンネルが画像生成をする「部屋」に当たり、他のユーザーも同時にアクセスして思い思いの画像を作っています。どの部屋でも特に違いはありませんので、まずは見学してみましょう。
詳しくは後述しますが、Discord上での生成画面はこのような感じ。英文がプロンプトで、末尾に「--niji 6」とあるのは、最新のNiji journeyモデルver.6で生成しているという意味です。下に並ぶボタンで、アップスケールやバリエーション生成を行うことができます。
プロンプトは英語でも日本語でもOKですが、日英混在だとうまく読み取ってもらえないことがあるようです。既にSDで慣れている方は英語(自然言語やdanbooruタグ)で問題ないと思います。チャンネル内では他のユーザーが打ち込んでいるプロンプトや生成結果が次々に流れていくので、どんな言葉を入れるとどんな画像が生成されるか、大いに参考にさせてもらいましょう。
有料会員になる決心がついたら、さっそく課金プランをどれにするか検討します。
3.四つの課金プランの違い
プランはベーシック(月10ドル)、スタンダード(月30ドル)、プロ(月60ドル)、メガ(月120ドル)の4種類で、1年分を前払いすると20%の割引を受けることができます。会員になると、Niji journeyだけでなく、リアル調の生成が得意なMidjourneyでも生成ができるようになります。プランによって「Fastモード」「Relaxモード」「ステルスモード」の利用制限に違いがありますが、どの有償プランでも生成画像の商業利用が可能とされています。
投稿欄に「/subscribe」と投稿すると、チャンネル内に「Open the page below to pick your plan and subscribe!」という応答メッセージが出るので、そこに表示された「open subscribe page」ボタンから課金画面に遷移することができます。
<更新日に注意!>
月払いの更新日は次の月の同じ日ですので、例えば7/5に登録した場合は8/5に更新日を迎え、同額が引き落とされることになります。課金を停止するときは課金画面右側の「支払い編集」から「プランをキャンセル」する必要があり、期間中にキャンセルしても次の更新日までは課金効果が持続します。
課金プランで変わってくるのは以下の要素です。
①付与される「Fastモード」の長さが変わる
Fastモードは、Niji journey運営のGPUを他のユーザーよりも優先的に利用できるモード(高速GPU タイム)のこと。10ドルプランでは月198分(3.3時間)だけですが、30ドルプランは月15時間、60ドルプランは月30時間、120ドルプランは月60時間、それぞれFastモードを利用することができます。Fastモードの残時間を使い切ると、30ドル以上のプランなら低速で無限生成できる「Relaxモード」に移行できるのですが、10ドルプランのみ、このRelaxモードが使えません。生成を続けたい場合は再課金するか、30ドル以上のプランにアップグレードする必要に迫られます。ちなみにFastモードの残時間は1時間当たり4ドルで追加購入できます。
(※Relaxモードとは)
Relaxモードでは、Fastモードのユーザーよりも生成順が後回しになる一方、自分のFastモードの残時間を使わずに生成することが可能になります。30ドル以上のプランの場合、/relaxと打ち込むことで、いつでもこのモードを利用でき、Fastモード時間を節約可能になります。ただ、Niji journeyでできる最大の大きさにアップスケールする「max upscale」という手法がRelaxモードでは使えないことに注意が必要。
②最大ジョブ数が変化
Niji journeyでは再生ボタンを押すと4枚同時生成が行われますが、これを1ジョブとしたとき、何個同時に生成を依頼できるかがプランによって違います。30ドルプランまでは、3件同時にジョブを走らせられ、10 件のジョブをキュー(待機中)にできます。放っておけば順次生成が始まり、13件×4枚生成されます。60ドルプラン以上は、Fastモードで12件、Relaxモードで3件のジョブを走らせられ、さらに10件のジョブをキューに入れられます。
正直、ここまで同時に生成キューを入れることはあまりないのですが、何らかの生成テストや画風LoRAを作りたいときなどに有用かなと思います。
③「プロ」プラン以上はステルスモードが使用可能
ステルスモードはNiji journeyの公式サイト上で、他の人に自分の画像が閲覧されないようにする機能です。Discordの画像生成チャンネルを眺めているとわかるように、共用スレッドでは自分が生成画像・自分の名前・プロンプトが絶えずほかのユーザーに公開されているので、「ステルス」と聞くと、これを見えなくさせられるのね、と思ってしまいますが、そうではありません。
60ドルプランから、「/stealth」と投稿するとステルスモードをオンにすることができますが、後述する方法で自分だけの生成部屋を作ることは可能ですので、よほど秘密主義の人以外はさほど訴求力のあるサービスではないかもしれません。
たとえばこのトップページの「Explore」から見られるのが他のユーザの生成結果。クリックしていくと、同じユーザの他の生成履歴も丸見えです。自分の生成履歴をこちらに表示したくないときにステルスモードを使うということですね。
規約違反に注意!
Niji journeyには画像生成をめぐる規約が設けられており、初回生成時に同意する必要があります。規約ではアダルト画像などの生成が禁じられており、何度も違反すると「You have been blocked from accessing Midjourney. This happens on repeated or serious ToS violations.(Midjourneyからブロックされました。規約にたびたび抵触するとこうなるよ)」のメッセージとともにNiji journeyが利用できなくなるので気を付けましょう。
Midjourneyの規約によれば、「無礼だったり、攻撃的だったりする画像、またはその他の虐待的な画像を生成しないでください。いかなる種類の暴力やハラスメントも容認されません」「アダルトコンテンツやグロテスクな画像生成は禁止です。視覚的に衝撃的なコンテンツや、不穏なコンテンツを作ることは避けてください。一部のテキスト入力は自動的にブロックさせていただきます」とされています。その他、ステルスモードやユーザーの権利・義務についても詳しく書かれているので、必ず目を通すようにしてください。
4.初めての生成
規約への同意と課金が済んだら、すぐにNiji journeyを使うことができるようになります。Discord画面に「画像生成」「画像生成-2」「画像生成-3」...とチャンネルが並んでいるので、どれかを選んで入室します。
・入室したら、画面下の投稿欄に「/imagine」と入力してみましょう。
最後のeまで入力しなくても、このように「/imagine prompt」と書かれたウィンドウが推測表示されるので、そこをクリック。すると投稿欄がプロンプト欄になるので、好きな言葉を打ち込みましょう。
▲こういう感じになればOK
※初回生成時は「niji・journeyの使用を継続するには、利用規約(ToS)に同意していただく必要があります」と表示されるので、赤い同意ボタンをクリックする必要があります。(※投稿欄に「/imagine 女の子、黒髪、セーラー服・・・」のようにいきなり投稿するのではなく、上記のようなウィンドウをクリックする手順を踏まないとエラーが表示されます)
5.Nijiプロンプトの基本
Nijijourneyでは、danbooru式でも日本語でも、かなり広範なプロンプト入力が有効です。ただし、「/」や「--」という呼び出し記号を使って、ローカル生成にはないさまざまな機能を使うこともできます。(詳しくは後述します)
ニュアンス的には、日本語指示よりも英語の自然言語で指示するのが最も結果がよいように思います。そこで、ChatGPTでNiji journey用の自然言語プロンプト生成GPTを作りましたので、FANBOX支援者さん向けにご提供します。(URLを知っている人のみ使える仕様にしていますので、よそで貼らないようにお願いします。こちら▼のURLがリンク切れしている、もしくは表示されない場合はコメント欄もしくはDM等でご連絡ください)
https://chatgpt.com/g/g-jGgY40dcE-niji-journeyhuronhutosheng-cheng-gpt
簡素な作りですが、日本語で適当に欲しいプロンプトを指示するか、画像を放り込むと、それを基にNiji用の英語プロンプトを吐き出してくれます。日本語訳も同時に生成されるので、想定した内容と違っているところがあれば、「ここをこう修正して」と頼めば変更してくれます。
さっそく好きなプロンプトで画像を生成してみましょう。さきほどのGPTを使ってプロンプトを作ってもよいですし、「1girl,sitting,school...」のようなdanbooru式でも構いませんし、普通の日本語でもなんでもOK。「/imagine」のあとにプロンプトを入力してENTERキーを押せば、プロンプトを基にぼんやり4枚の画像が生成され始めます。
▲日本語で生成した例
生成が終了すると、このようにアップスケールを意味する「U1~U4」、バリエーションを意味する「V1~V4」と書かれたボタンが下に表示されます。
数字は1が左上、2が右上、3が左下、4が右下に対応しており、例えばこの画面で「V3」を押すと、左下のイラストをベースにしたさらなるバリエーション4枚が新たに生成できます。右側の「🔁」ボタンを押すと、さきほどと同じプロンプトで別の4枚が再生成されます(Seed値のみが変更される)
ちなみに、右上を向いた矢印つきのボタンを押すと、Niji journey公式サイト上で画像編集を続けることができる…はずなのですが、記事執筆現在、Niji journeyではなくなぜかMidjourneyのほうに飛ばされますのでご注意。
最近は公式サイトの機能が充実し、Discord上ではなくこちらで生成する人が増えてきたようですので、ここからは、Niji journey(もしくはMidjourney)公式サイト上での画像生成方法について解説していきます。
6.Niji journey公式サイトでの生成方法
2024年8月から、公式サイトでの画像生成がユーザ全体に公開されました。公式サイト左側の「Create」タブから画像生成画面に飛べます。画面最上部にプロンプト入力画面があり、右上の三本線のボタンを押すと、このようなプルダウンメニューが表示されます。
・ImageSize(キャンバスサイズ)
つまみを左右に移動させると、縦長から横長までのキャンバスサイズを選択することができます。
・Mode
通常の「Standard」と別に、プロンプト上級者向けの「Raw(生)」モードを選択できます。Rawモードで作成された画像には、Niji journeyが普段内部的に働かせている美化処理が適用されにくくなります。つまり、細かいプロンプティングによって特定の画風を要求したいとき、プロンプトの効果を強めて生成結果のぶれ幅を小さくする効果があります。
右側がRawモード。木の画像も猫の画像も、画風のぶれ幅が小さくなっていることが分かります。逆に言えば、バリエーションが小さくなった分、AIが自由に描いた美しい画像は出にくくなっているとも言えます。
下の画像は、上段がRawモードで、下段がStandardです。上段はなんとなく雰囲気が統一されていて、下段の方がタッチや色彩のバリエーションが豊かですね。高度なプロンプティングができ、ランダムな要素を交えたくない上級者向けの機能と言えるでしょう。
・Version(使用モデル)
使用モデルを選ぶことができます。デフォルトでは、記事執筆時の最新モデル「Niji V6」が選択されています。あえて過去のモデルを利用する必要がなければ最新モデルを選んでおけばよいでしょう。ちなみに、一覧の中にある「v6」などは写実的なMidjourneyモデルですので、Nijiモデルと混同しないようにしましょう。
・Personalize(パーソナライズ機能のオンオフ)
2024年9月に追加された新機能「パーソナライズ」をONにすることができます。提示されるお題から200枚以上の画像から好きな画像を選択していくと、より自分好みの画風で生成できるようになるユニークな機能です(詳しくは後述)
・Stylization(美的処理強度)
さきほど「RAW」モードではできるだけ美化処理を使用しなくなると説明しましたが、「Stylization」欄ではこの美化処理をより強化することができます。100がデフォルトで、0にするとRAWモードのようにプロンプトに忠実になりますが、美的ではないイラストになります。200以上にするほどにプロンプト内容が無視されやすくなりますが、その代わりより美的なイラストが生成されるようになります。
こちらは、上段がstylize1000、下段がstylize400です。なかなか感覚がつかみにくいですが、1000では「学校内」や「ポニーテール」のプロンプトが利きにくくなっているかわりに、よりアーティスティックになっていることが伝わるでしょうか。
・Weirdness(奇妙さスライダー)
画像の「奇妙さ」を増加できるスライダー。デフォルトは0ですが、最大値3000に近づくにつれ、生成結果がユニークかつ予想のできないものに変容していきます。Discord上では「--weird 1500」などと入力すると発動します。
こちらは上段が3000、下段が1500です。ユニークですが、プロンプトで制御できない、思ってもみない生成結果になっていくことが分かると思います。
・Variaty(カオス機能)
4枚生成のバラエティ性を強めるスライダー。というよりも「カオス性」を強めるスライダーと言ったほうが近いです。デフォルトは0で、最大の100に近づくほど、プロンプトにない、さまざまな要素が勝手にプラスされていきます。Discord上では「--chaos 1500」などと指定して発動させます。
下段がカオス50、上段がカオス100です。こちらも、プロンプトからは予想できない、非常にオリジナリティの高いイラストが生成されることが分かると思います。「Weirdness」とともに何が起こるか分からない「パルプンテ」のような機能ですので、普段は使わないことをおすすめします。
・Turboモード
最高速モードで生成できるボタンです。「Fastモード」が通常で、「Relaxモード」が課金分のhourを使い果たしたときに陥る低速モードであることは既に説明しましたが、Turboモードにすると、Fastモードに比べて最大4倍速で生成を行うことができます。その代償として、サブスクしているGPUの残り時間の消費率が2 倍になります。ここぞというときに使いましょう。(切り忘れ注意)
※Discord上では「/settings」コマンドから変更します。
7.さまざまな追加生成機能
生成画像の右下に、こちらのようなボタンが並んでおり、「ズーム」や「パン」といったさまざまな追加生成を行うことができます。(表示されていないボタンは、More optionsからチェックを入れると増やすことができます)
Vary(バリエーション)機能
Varyボタンからは、生成した画像によく似たバリエーションを4枚作ることができます。ほとんど構図を変更させないバリエーションが欲しい場合は「Subtle」を、構図を変更しつつ、似た画像を作りたい場合は「Strong」を選びます。
ここからは、こちらの画像をもとにさまざまな追加生成を行ってみましょう。
上段が「Subtle」、下段が「Strong」で生成したものです。上段は構図がほぼ同じである一方、下段ではこちらを振り向いている構図である点は一致しつつ、ある程度自由なバリエーションが生成されていることが分かります。
Upscale(アップスケール)機能
その名の通り、選んだ画像1枚を高解像度にアップスケールする機能です。Vary機能と同様に、できるだけそのままアップスケールするのが「Subtle」。細部が多少変化しても構わないのでクリエイティブに鮮明化してほしい場合は「Creative」でアップスケールすることができます。
左がSubtle、右がCreativeです。
左は元画像ほぼそのままですので、ローカル生成でいうExtra(その他画面)アップスケールのような印象。Creativeのほうは瞳や雲、カーテンや服のしわといった細部が詳細化していることがわかります。一方で、椅子に書かれていた文字?のようなものは消えています。こちらはimage2imageアップスケールのようなイメージですね。
Zoom(ズーム)機能
「Zoom」からは1.5倍、もしくは2倍の拡張生成を行うことができます。それぞれ4枚ずつ、四隅をキャンバスの外に拡張したようなバリエーションを作ってくれます。2倍ボタンにカーソルを合わせると、3倍以上の拡張生成もできるようになりますが、あまり大きくしようとするとうまく行かないので、ほどほどにしておいたほうが良いでしょう。
こちらの生成例は、上段が1.5倍ズーム、下段が2倍ズーム。1.5倍くらいならぼろが出ませんが、2倍だとやや怪しい感じになりますね。いきなり2倍にするよりも、1.5倍を繰り返した方がやや安定するようです。
Pan(パン)機能
上下左右の青い矢印ボタンが「パン機能」。さきほどの金髪女子の画像を「左」方向にパンすると、その方向にキャンバスを拡張して「続き」を描いてくれます。こちらも4枚分のバリエーションが生成されますので、気に入ったものができたら、そこからさらに「アップスケール」することも可能です。
Remix(リミックス)機能
「プロンプト変更機能」のようなもの。さきほど生成した画像をできるだけそのままに、一部だけプロンプトを変更したい場合に使います。「Subtle」はできるだけさきほどの画像から大きく変えたくない場合。多少構図が変更しても良いので、プロンプト通りに生成したい場合は「Strong」をクリックしましょう。
このようにプロンプト画面に「Remix」と表示されたら、プロンプトを変更します。ここでは、「笑っている」を「怒っている」に変更しました。ENTERキーで生成が開始します。
上段が「Subtle」、下段が「Creative」でRemixしたものです。上段はおおむね構図が守られていますね。
いずれも確かに表情が変化していますが、正直言って元画像とは違う人物だなという印象です。しかも、あまり怒ったように見えない(笑) このように、Remixで狙ったような結果を得るのはちょっと難しいので、個人的にあまり使わない機能です。
Rerun(ランダム再生成)
「Rerun」ボタンを押すと、選択した画像と全く同じプロンプトで再生成を行います。Seed値はランダムになるので、再びこのように違うSeed値での画像生成が行われます。少し前のプロンプトでガチャをやり直したいときに使います。
<Seed値はどこから調べて、どうやって使うのか>
Seed値の話が出ましたので、ここで説明しておきましょう。Niji journeyにももちろんSeed値の概念があります。右上の三本線から「Copy」を選ぶと、このようにSeed値をコピーするボタンがみつかります。
こちらのSeed値でプロンプトを変更して再生成したい場合、プロンプトの末尾に「--seed 12345」のように入力すると、同じ画像を生成できる…はずなのですが、記事執筆現在(2024/09/14)、公式サイト上でやろうとしても認識されないようです。
Discord上で、上の画像からコピペしてきた「137449620」のSeed値を使って生成してみると…
無事さきほどの画像と同じイラストが生成できました(左上の一枚)。
プロンプトは「黒髪ポニーテールで赤い眼鏡をかけたセーラー服姿の女の子が教室に立ってこっちを見て笑っている。窓からは青い空と雲が見え、空に虹が掛かっている。 --seed 137449620」です。
このSeed値はそのままに、プロンプトの「笑っている」を「怒っている」に変えたのが右画像。同じSeed値なので、おおむねよく似た構図や被写体が出せます。
8.Discordで他人に見られずに生成するには?
Discord上の画像生成ルームで普通に生成していると、同時に入室している他のユーザーにも丸見えでちょっと恥ずかしい、ということもあると思います。プライベートに生成を行う方法を公式がまとめてくれているので、まずはこちらをご参照ください。
共用チャンネルではなく、自分専用のサブスレッドを「新規作成」すれば、あまり人の目を気にせず画像生成を楽しむことができます。「あまり」と書いたのは、サブスレッドは共用でないだけで非公開なわけではないので、探そうとすれば他のユーザーからも見つけられてしまうからです。
<DM画面で生成できるようにしよう>
おすすめなのは、Niji journeyの公式BotとのDM画面で生成すること。投稿部分を右クリックして「リアクションを付ける」を選び、「もっと表示」をクリックします。
メールを意味する「✉」の絵文字を押しましょう。envelopeで検索すると出てくるる、一番シンプルなものです。この絵文字を押すと、すぐにいまの4枚生成のバラバラの画像やSeed値などがDiscordのDMで送られてきます。実は、このDM画面で次から「/imagene」することができるようになるのです。
もっと簡単なのは、niji journey Bot相手に適当なDMを送ってしまうことです。これで同じようにDM画面が生成されるので、そこが生成部屋になります。
余談ですが、Discordの生成部屋からイラストを削除したいときは、同じ要領で赤い「×」の絵文字をつけると削除することもできます。
9.パーソナライズ機能を使ってみよう
さきほど軽く触れた、自分好みの画風で生成できる「パーソナライズ」機能を使うためには、こちらのリンク先から、「二択画像のランク付け」にチャレンジする必要があります。(公式サイトのTaskタブから行けます)
リンク先に飛ぶとこのような画面が表示されるので、気に入った画像が出てくるまで右上の「SKIP」をクリックしましょう。つい、右か左の比較的好みの方をクリックしてしまうのですが、好みの画像でない場合、絶対にクリックしてはいけません。根気強くSKIPしましょう。
ちなみに、マウスでクリックするだけでなく、キーボードの「1」で左、「2」で右、「3」でスキップを押すことができます。心を無にして、ぽちぽち押していきましょう。SKIPを使わないであまり好みではない画像をいやいや押していると、どんどん好みから離れていくので、「自分はこういう画像を生成したいから、こういう画像以外はクリックしない」とルールを決めて選ぶようにしましょう。画風LoRAのデータセットを選ぶ感覚です。
ちなみに公式のHELPによると、この二択チャレンジだけでなく、公式サイト上で他人のイラストに「♥」(いいねのようなもの)を付けた場合も、好みの画像として記憶されるようです(さきほどのページ上の枚数カウントには反映されないようですが)。
最低200枚以上クリックもしくは♥をつけていると、パーソナライズ機能が解放されるようです。ランク付けが足りないとエラーメッセージが表示されるので、頑張ってクリックしていきましょう。
<パーソナライズ機能の使い方>
パーソナライズ機能が解放されたら、公式のプルダウンメニューから「Personalize」をONにするか、Discordでプロンプトの末尾に「--p」を付けると発動します。
こちらが私の好みが反映された生成結果です。
イラストチックで、かつスケッチ跡が残るようなラフさがありつつ、カラーリングはアニメチックな好みがでているように思います。いずれも、特に画風やタッチに関する指定はしていません。後述するキャラクターリファレンス(cref)機能のようにキャラ容姿の統一感までは出ませんが、画風というより「タッチ」「画材」「カラー」のような部分に一貫した雰囲気が付与される感覚です。
<自分のパーソナライズ番号を知ろう>
Discord画面で「/list_personalize_codes」と入力すると、その日時点の自分のパーソナライズ傾向を示す背番号が表示されます。例えば、このような感じ。
この背番号を使って、プロンプトの末尾に「--p y523bbp」と入力して生成すると、誰でも私の好みが反映されたパーソナライズ機能を使うことができます。気に入ったパーソナライズ結果が作れた場合は、その時点の背番号を書き残しておくと、その後の画像評価傾向によってパーソナライズ傾向が変化してしまっても大丈夫です。
<Fastモードボーナスももらえる!>
余談ですが、この二択チャレンジ、毎日この画像評価を行った回数の上位者2,000名にFastモードの残り時間60分が与えられるという面白いシステムがあります。公式の「Task」画面からは、他にもアンケートなどに応じることで、同様にFastモードの残り時間を延ばせるボーナスチャレンジができます。課金額を抑えながら生成を続けたい方は積極的に狙うとよいでしょう。
※Fastボーナスが欲しくて適当な評価を繰り返していると、パーソナライゼーション機能の生成結果がおかしくなるので注意が必要です。
10.容姿に一貫性をもたらす「キャラリファレンス」
あるキャラクターの画像を「参照(リファレンス)」させて、そのキャラクターのさまざまな状況での画像を作成できる機能です。もちろんLoRAを作るわけではありませんから、「完全に一貫性のある同じキャラ」とはいかないのですが、それなりに似せてくれます。
<Discordでのcrefの仕方>
Discordでの使い方は「--cref」のあとに半角スペースで区切って、参照させたい画像のURLを入力すればOK。画像がネット上にない場合は、さきほどのDM部屋にいったんアップロードして、その画像のURLを入力するのが簡単です。
「画像を左クリック▶ブラウザで開くを右クリック▶リンクのアドレスをコピー」の順です。このとき表示される画像URLは特殊で、拡張子「.png」のあとに長々と続きますが、この全文をURLとして扱って大丈夫です。
<公式サイトでのcrefの仕方>
公式サイトでは、プロンプト欄の左側の画像ボタンを押して、参照させたい画像をアップロードします。
わかりにくいのですが、アップした画像にカーソルを合わせるとこのように三つ小さいボタンが出てきます。この一番左のマークを押すと、「cref」がオンになります。
そのまま「1girl」で生成したのがこちら。構図も含めて、参照画像のキャラクター容姿やポーズをかなり継承しているのが分かります。ただ、「壁ドン」的な要素は排除されていますし、参照画像の要素がすべて完璧に継承されるわけではないことに注意が必要です。
<--cwで参照度をコントロール可>
「--cw」のあとに0から100 までの値を入力することで、キャラクターリファレンスの重みを弱めることができます。デフォルトはMAXの100ですので、弱めることしかできません。「--cw 0」と入力すると、キャラクターの顔のみが継承されます。値が高いほど、顔、髪、衣服と参照する範囲が広がっていくようです。
11.画像をプロンプト化する「Image Prompt」
これはキャラクターリファレンス(cref)機能と区別が少々難しいのですが、画像をプロンプト化する機能です。先に画像を見せてしまいますが、正直ほとんど先ほどのcrefと似たような結果になります。
違いは、キャラクターや画像そのものをリファレンスして写し取るのではなく、いったん画像をテキストプロンプトとして変換して、そのプロンプトを使って生成するということ。とはいえ結局、胸の鳥マークが継承されているということは「miorine_rembran」というタグを抽出しているということなので、さほど得られる結果に差はないなと感じます。公式の説明書は以下。
使い方は、Discordでは単純にURLを貼るか、+ボタンから参照させたい画像をアップロードするだけです。公式サイトでは、さきほどのcrefの手順で画像をアップするだけ。三つのアイコンのうち、右の画像マークが選択されていればOKです。
ちなみに、画像プロンプトには複数の画像を入力することができますので、カラーや構図を踏襲させたい画像が複数ある場合は試してみても良いでしょう。
12.画風をコントロールする「スタイルリファレンス」
普通、画風をコントロールしたい場合は「sketch,graphite(style)」とか「watercolor(/medium)」といったタグを使って指定するわけですが(特定クリエイターのタグをそのまま使うのはトラブルフルなのでおすすめしません)、Niji journeyでは「スタイルリファレンス(sref)」という独特の機能があり、さまざまな画風を数列で継承することができます。
<Discordでのスタイルリファレンス>
Discordでは、通常のプロンプトの末尾に「--sref」と入力し、半角スペースのあとにURLを入力するだけ。crefと一緒ですね。例えばこちらの画像をアップロードし、URLをコピーします。
そのURLを「2girls --sref http://...」と入力して生成すると、このような画像が得られます。構図も被写体も全く違いますが、淡い色使いのみ踏襲されていることがわかります。
上の画像は2girlsのみでしたが、実はプロンプトを駆使することで、次のようにかなり雰囲気の似たイラストを得ることもできます。
これは何をしているかというと、ChatGPTで作ったオリジナルのNiji journeyプロンプターにさきほどのスレミオイラストを渡して、以下のような英語プロンプトを得るというひと手間を掛けています。ただの「2girls」の代わりにこのプロンプトをさきほどのsref生成と組み合わせると、上の画像が得られるわけですね。
<crefとsrefを同時掛け>
crefとsrefを同時に適用することも可能です。より「百合太極図」のポーズが強く印象付けられた、下記のようなイラストを出すことができます。ただ、無理やり似せた画像を生成させる手前、全体的なクオリティは落ちてしまうので、一長一短なところはあります。
<公式サイトでのスタイルリファレンス>
公式サイトでは、先ほどと同様にプロンプト欄の左側の画像ボタンを押して、参照させたい画像をアップロードし、三つのボタンのうち真ん中のクリップボタンを押します。
あとは任意のプロンプトを入力して生成するだけです。Discordより簡単ですね。
ちなみにsrefとcrefを同時掛けしたいときは、Shiftキーを押しながらそれぞれのボタンを押せばOKです。(下図のように二つのアイコンが表示されます。画像プロンプトと三重掛けもできます)
こちらがcref+srefです。やはり画質ははっきり落ちてしまうので、ポーズ案程度に使えるかなといった感じですね。
<ランダムなスタイルリファレンス>
上記のやり方は手元の画像からスタイルを継承する方法ですが、ランダムなスタイルを呼び出したり、他人のスタイルを背番号で継承することもできます。
「--sref random」と入力すると、その都度違うスタイルがランダムで適用されます。たとえばこのような感じ。
random化した結果、たまたま選ばれた「820644783::1」という背番号(リファレンスコード)がこのような画風だったということです。もし気に入ったら、次からは「--sref 820644783::1」で継承することができるわけですね。
なんと、こうしたリファレンスコードをまとめてくれているデータベースがあります。
このように、イラスト調やアニメ調などジャンル分けで整理されているので、簡単に好みのsrefコードを探すことができます。
(画像引用:SrefDB--srefデータベース https://nyamlog.com/srefdb/ よりスクリーンショット)
13.その他の特殊操作
他にも、Discordの投稿欄にいろいろなコマンドを打ち込むことで、さまざまな操作を行うことができます。Niji journey公式がDiscordの「お知らせ」欄で配布していた、こちらの「画像生成初心者向けシート」をご覧いただくのが最も理解が早いと思います。これらの機能は公式サイト上ではまだ使えないものが多いので、DiscordのDM画面などで試してみてください。
これらのうち、最初に把握しておくべきテクニックを以下、抜粋します。(一部公式サイト上のプロンプト欄でも使用できるものもあるようですが、基本Discord上での操作であることを覚えておいてください)
【ネガティブプロンプト】
「--no 〇」で含めたくないものを指定できる。例:--no text
「--no word1 --no word2」といったように「--no」を2つ使うと重み付けがおかしくなるため、「--no word1,word2」のように書くこと。
【ブレンド】
「/blend」と打ち込むと、画像のアップロード用画面が表示される。ここに手元の画像を複数(2~5枚)アップロードすると、プロンプトなしでそれらを融合させることができる。例えばこの2枚をアップして生成すると…
このようなものが得られる。面白いが、使いどころはなかなか難しい。
【プロンプト出力】
「/describe」と入力。「image」を選択して手元の画像をアップロードすると、このような感じでその画像をイメージしたプロンプトを4つ出力できる。
対応する番号のボタンを押すと、そのプロンプトで4枚生成してくれます。画像比率は出してくれて便利だが、肝心のプロンプトをよく読むとさほど精度は高くないので、さきほど実演したようにChatGPT4oあたりにプロンプト化してもらったほうがよいかも。ちなみに「4」のプロンプトで生成するとこんなのが出ます。
【情報開示】
「/show」と入力し「JobID」というものを入力すると、過去の作業を引き継げる。Job IDはここからコピペできる。
コピペしたIDを入力すると、このようにさきほどの生成結果をよみがえらせることができるので、アプスケやバリエーション生成をここからやり直せる。
【設定画面呼び出し】
「/settings」でこのような設定画面を呼び出せる。生成モデルやスタイル、スタイライズ値などを設定可能。
【アスペクト比】
「--ar」で画像の横縦のアスペクト比を設定可。例えば「--ar 16:9」で、横縦の比率を選択できる。「横が先:縦が後」ですので、縦長にしたい場合は「--ar 9:16」となります。
【生成モデル指定】
「--niji 4」「--niji 5」でNiji journeyの、「-- v〇」でmidjouneyの生成モデルを指定できる。「/settings」から指定したほうが早い。
【スタイル設定】
niji 5を使用する場合、「--style 〇」で4つのスタイル(後述)を選べる。例:「--style cute」
【スタイライズ値】
既に解説した「Stylizeation」の数値は「--s 〇」で指定できる。0~1000で指定でき、普段は100になっている。「/settings」画面からはlow,med high,very highの4段階から選ぶことができる。
数値が高いほど、プロンプトが守られにくくなる代わりに美的になっていく。
【バリエーション量】
「--c 〇」で指定できる、バリエーション生成時の変化量(0~100)。こちらは大きいほど元画像から変化する。
【マルチプロンプト】※Niji6未対応
「チーズケーキ」と「チーズとケーキ」は違います。「宇宙船」と「宇宙と船」も違います。Niji5までのNiji journeyモデルでは、プロンプトの途中で「::」をはさむことで、このような単語の区別を行うことができます。
【プロンプト簡略化】
「/shorten」と入力し、以下にいま使っているプロンプトを入力すると、Niji journeyがそのプロンプトを自動分析し、影響力のある単語を強調表示した上で、削除できる不要な単語を提案してくれます。プロンプトがあまりに長大になってしまったときに、効率的に整理するのに使います。
【permutation機能(プロンプトの一部変更)】
プロンプトの中で、一要素だけを変更して生成を行うことができます。例えば、「青空を飛んでいる一羽の鳥」を生成したいが、鳥の色をいろいろと比べたいときは、
...a {red, green, yellow} bird
このようにプロンプトを入力すると、下の画像のようなメッセージが表示され、Yesを押せば赤・緑・黄色の3パターンのイラストが全て生成される仕組みです。
注意点として、StableDiffusionにおけるランダムプロンプトと違い、かならず全てのパターンが一つずつ選択されることに留意ください。つまり、このパターンだと通常の4枚生成が赤・緑・黄色の順に計3回繰り返されるということです。(4枚生成の中でランダムに色が選択されるわけではない)
▲このように「緑が4枚、赤が4枚…」と順番に総当たり生成されます
<repeat生成機能(バッチ数指定)>
一つのプロンプト指示で指定した回数だけ生成を繰り返させることができます。StableDiffusionにおけるバッチ数指定に当たります。
--repeat または --r をプロンプトに入力し、半角あけてバッチ数を半角数字で指定すればOK。下図のようにメッセージが出て、Yesを押せばその回数だけ生成が繰り返されます。
このパラメーターは、 FastかTurbo GPU モードでのみ使用でき、何回まで繰り返し生成できるかは契約プランによります。
ベーシック:最大4回まで
スタンダード:最大10回まで
プロ / メガ:最大40回まで
14.終わりに ローカル生成との連携
さて、ここまででNiji journeyの基本の使い方はおおむね紹介できたと思います。
「初心者向けシート」に紹介されていない細かい設定法も公式の解説書(▲)で紹介されていますので、もっと深く知りたい方は読み込んでみるとよいでしょう。How toはここまでにして、Niji journeyの個人的用途や性能所感について少し語ってみます。
Niji journeyは繊細なタッチの塗りや、スタイリッシュな構図が魅力的で、SDのように画像サイズやScale,高解像度補助など細かな設定をしなくても、短いプロンプトでクォリティの高いイラストがばんばん出てくるのが魅力です。また、多種多様なスタイル(画風)を内包しているため、フラットから厚塗り、イラストチックから写実的絵画まで幅広い表現ができるのも特徴ですね。PG13(13歳未満の子供向きではないコンテンツ)を超えるnsfw生成が禁じられているので、セクシー路線のイラスト生成には使えませんが、全年齢イラストとしては十分なクォリティでしょう。
有名キャラクターであれば版権キャラも再現できますが、再現できるキャラクターの数はNovelAIやAnimagine3.1に軍配が上がるようです。あからさまな特定キャラを生成しようとするとエラーが出ることもあるのでご注意。
以下は私が個人的に感じている弱点です。今述べた長所がそのまま弱点でもある、と言えるかと思います。
弱点①:画風のコントロールに習熟が必要
キャラクターリファレンスやスタイルリファレンスといったユニークな機能が多数あるものの、ローカルに比べて画風の統一にはややコツが必要で、初心者のうちは生成するたびにタッチ・画風が大きく変わってしまいがちなこと。crefやsrefによって生成スタイルを縛ろうとすると、自由に生成したときよりも品質が落ちてしまうこともあり、高品質な生成にはある程度の習熟が必要だと言えます。
弱点②:ストレートなimg2imgができない
いわゆる「img2img」ができないのも痛いところです。前述のように、イメージプロンプトなどで似た画像を作ったり、リミックス機能である画像のプロンプトを変えて再生成したりすることはできるのですが、ストレートにimg2imgできたほうがやれることは多いので、やや奥歯にものが挟まったような感覚があります。
弱点③:アップスケールで破綻することが多い
アップスケールはSubtleとCreativeの2つの選択肢がありますが、Subtleはものたりなく、Creativeは予想外の破綻を招くことがよくあります。これはローカルに転送して普段のワークフローに載せれば回避可能ですので、さほど気にならないかと思います。
<ローカルとの連携>
さまざまな生成サービスが群雄割拠している中にあって、NovelAIは「キャラ再現・NSFW・強力インペイント」の強みで人気を誇っているわけですが、Niji journeyの強みはやはり「構図力・イラストとしての魅力」かなと思います。キャラクター再現や解像度などの仕上がりがいまいちであれば、例えば良い構図で出した後に違和感のある部分だけをNovelAIのインペイントで修正したり、ローカルで自分好みのモデル・LoRAを使ってアップデートしていくような手法が効果的です。
こちらの例は、雰囲気はとても良いがミオリネさんとキャラデザが遠い左のイラストを、顔周辺のみNovelAIのインペイントで「miorine_rembran」に修正したものです。こうして見比べると、前髪の塗りのクォリティ(立体感と質感)が元画像に比べてやや低いことが分かるのですが、このような手法でNiji journeyイラストを「ベース」にしていくことで、より闊達なイラスト表現が可能になります。
このままでは私の普段のイラストから距離がありますし、ザ・Niji journeyといった感じのタッチを感じるので、iomagineXLモデルでのimage2imageを掛けてみます。「Anytest v4」などを使って、主線はそのままにタッチだけを変えてもよいですね。
ポン出しですが、このように普段の作品のタッチに寄せられます。プロンプトは右上の段ボールボタンから自動抽出してもらったものに、普段通りの手を加えたものを使っているだけですので、ここまでは簡易的なi2iです。
ただ、単純に見比べていただくと、残念ながら最初のNiji journey画像が一番「絵としてのクォリティ」は高いと感じます(好みもあるかもしれませんが…)。単純に構図だけを踏襲しても美しさや統一感は失われてしまうということであり、調和が重要なイラスト表現の難しさが痛感できるところです。
単にキャラクターデザインを近づけるだけならまだよいのですが、私の普段のイラスト表現に無理やり落とし込んでも、元イラストの淡い塗りに込められた繊細さ、瞳の透明感といったものが台無しになって、このようにつまらないアニメ調になってしまいがちです。
ですので、もし自分の作品としてリバースさせたいなら、普段通りに手をかけてやっていくしかないのかなと思います。結局Niji journey産の美しさはNiji journeyのものでしかないので、自分の作風としてちゃんとかみ砕けるようになるのはなかなか険しい道のりですね。最近は、AIモデル由来の上質感だけを求めるのではなくて、自分由来の低劣さも愛さなければいけないなと思うようになりました。
ただ、これでもやはり最初のイラストの魅力には勝てないなと感じます。
なぜ魅力が減じているかを分析してみると、まず元絵は夜空のグリーンと制服、髪の色彩の調和が美しく、空がフラット感のあるグラデーションで人物が水彩タッチなのも見た目に快い構成となっています。右は強めのアニメ調、リアル背景になったことでこれらの良さやバランスが崩れていることや、色彩的に心地よい統一感が失われてしまっていることも分かります。また、美しい星空を眺めているのにつんとしてつまらなさそうな表情をしている面白さが表現しきれていない点、目の焦点が今一つずれていることなども問題がありそうですね。
なぜNiji journey産のイラストに良さを覚えるのか、その良さを維持しながら、普段の絵作りに活かせるのかーといったところが今後の研究の大事なところかなと思います。srefやパーソナライズによって「まさに求めている画風」に行きつけたのなら、Niji journeyでデータセットを作ってローカルでLoRAとして再現することもできますので、ますます表現の幅が広がりそう。NijiとSD、NAIなどの組み合わせももっと深堀していければと思います。
それでは、皆様Niji journeyで良い旅を!スタジオ真榊でした。