*After trying many more things, I came to a simple conclusion: ``It's better to use Lora without merging,'' so I won't update the deleted files. But, I will leave the explanation for the LCM version as is.
I have incorporated LCM Lora into KaywaiiAnimetic V1 (KA1) to speed up image generation.
LCM Lora has a specification that requires the number of steps to be 3 (that makes it faster), but most models require about 10 to produce a practical picture. For a prompt like 1girl, it's okay to get a prompt of about 5, but if you want to come up with a normally useful picture, you'll need about 8. The possibility of reducing the number of steps depends on how fast the original model converges. So I tried it with KA1, which is the fastest model I have released. All sample images are generated using Step 3 + HiRes.FIX.
イメージ生成を高速化するLCM LoraをKaywaiiAnimetic V1(KA1)組み込みました。
LCM Loraはステップ数は3にしろというという仕様のLoraですが(それだけ速くなる),ほとんどのモデルで実用になる絵を出すには10くらいは必要になります。1girlくらいのプロンプトなら5くらいで出なくもないですが,普通に実用になる絵を出そうとすると8くらいは必要になります。ステップ数の削減可能性は,元のモデルの収束の速さに依存します。そこで私の公開しているモデルで最速のKA1で試してみました。サンプル画像はすべてステップ3+HiRes.FIXで生成しています。
However, the KA1 was originally a model that produced fairly decent pictures even at step 10 or below, so there is no benefit at all if you use it at step 8 or so.
When I tried to incorporate LCM normally, I felt that up to about 6 was the practical limit. As a result of trying various things, I have narrowed down the settings to a point where I think it is within the practical range up to 4, although anything below 3 is quite difficult, so I decided to present it. Pictures will appear in Step 2, but once you reach a certain level of usability, it will be at least 4. Even if it doesn't reach SDXL Turbo, I think it's one of the fastest at SD1.5.
とはいえ,KA1は元々step10以下でもかなりまともな絵を出すモデルでしたので,8くらいで使っていたのではまったく旨味がありません。
普通にLCMを組み込んでみると,6くらいまでが実用限界という感じでした。いろいろやった結果,3以下ではかなり苦しくなりますが,4までは実用範囲なのではないかと思えるところまで設定を詰めましたので発表してみることにしました。ステップ2でも絵は出てくるのですが,ある程度使えるレベルとなると最低でも4になります。SDXL Turboには届かなくても,SD1.5では最速級にはなったと思います。
First, download the KA1 LCM version and run an appropriate prompt with about 5 sampling steps (If you are already using KA1 and LCM Lora, the combination will probably be the same, so there is no need to download a new one). I recommend a CFG Scale of around 1.5. When using Sampling steps 6 or lower, use a different Sampler instead of LCM. Recommended is DPM++ 3M SDE. It depends on the pattern, but the following is a rough guide for step 4.
DPM++ 3M SDE CFG 1.5 (recommended)
DPM++ SDE Karras CFG 1
Euler a CFG 1.8
DPM++ 2M Kararas can be used in step 5, and DPM++ 3M SDE Kararas can be used in step 6 or higher.
まずKA1 LCM版をダウンロードし,サンプリングステップ数5程度で適当なプロンプトを実行してください(すでにKA1とLCM Loraを使っている人はその組み合わせでもたぶん同じですので,新たにダウンロードする必要はありません)。CFG Scaleは1.5くらいを推奨します。Sampling steps6以下での使用では,SamplerにはLCMではなく,別のものを使用してください。推奨はDPM++ 3M SDEです。絵柄にもよりますが,以下はstep4時のだいたいの目安です。
DPM++ 3M SDE CFG 1.5 (推奨)
DPM++ SDE Karras CFG 1
Euler a CFG 1.8
DPM++ 2M Kararasはステップ5,DPM++ 3M SDE Kararasはステップ6以上でなら使用可能です。
Generally, when using a model with LCM, use LCM for the sampler. Although it is not required this time, if you do not have it, please extend sd-webui-animatediff and obtain it.
なお,一般的にLCM付きのモデルを使用する際には,サンプラーにLCMを使用します。今回は必須ではありませんが,持っていない人はsd-webui-animatediffを拡張して入手しておきましょう。
Assuming you use HiRes.Fix, it is okay to use 3 steps.
If you use ADtailer, it will be even easier, but the essential drawing speed itself will be unreasonably slow, so i am not considering it at all this time.
HiRes.Fixの使用を前提とすれば,ステップ数は3でも大丈夫です。
ADtailerを使えばさらに楽にはなりますが,肝心の描画速度自体が無茶苦茶遅くなりますので今回はまったく考慮しておりません。
Step 3
Step3 + Hires.Fix
Note that using DPM++ 3M SDE as a sampler is an effective method not only for this model but also when using LCM Lora. If you are not satisfied with the LCM standard sampler, try it.
なお,サンプラーにDPM++ 3M SDEを使うというのは,このモデルに限らず,LCM Loraを使用するときにも有効な手法です。LCM標準のサンプラーではもの足りない人は試してみてください。
The points to note when using LCM are as follows.
The picture will not be the same as without LCM
Complex pictures require more steps
With low steps, the body structure is easily damaged.
Negative prompt has no effect unless CFG 2 or higher
Taking these things into account, you will decide the number of steps depending on whether you want speed or stability. For example, if the rate of obviously strange pictures goes from 10% to 50%, there is almost no benefit to doubling the speed.
LCM使用時の注意点は以下の通りです。
LCMなしと同じ絵が出るわけではない
込み入った絵ではステップ数が多めに必要
低ステップでは身体構造などは壊れやすい
Negative promptはCFG 2以上でないと効果がない
こういったことを踏まえて,速度を取るか安定度を取るかでステップ数を決めることになるでしょう。例えば,明らかにおかしな絵が出る率が10%だったものが50%になったとしたら,倍速化してもほとんどメリットはありません。
Aiming to stabilize character output, I renewed the base model and created a new anime-style image model. The character's taste is oriented to be the same as V1, but it is somewhere between common anime models and V1.
However, unlike V1, not everything will be made into an anime picture. I recommend adding "anime" to the prompt.
キャラクター出力の安定化を目指して,ベースモデルを一新して新たなアニメ系の画像モデルを作りました。キャラクターのテイストはV1と同系列を目指していますが,よくあるアニメ系モデルとの中間くらいのものとなっています。
ただし,V1とは違って,なんでもかんでもアニメ絵にするわけではありません。プロンプトに anime の追加を推奨します。
In V2,I improved things like below.
-Face output stabilization
-Pose stabilization
-Make drawing lines vivid
The base model was made by the learning data of over 20 different models, merged in the same ratio. To add characters and painting styles, I merged some models on them. Hopefully, you will be able to handle as many situations as possible.
V2では,
-顔出力の安定化
-ポーズの安定化
-描線をビビッドに
といったところを改良しています。
ベースモデルには20種以上のさまざまなモデルの学習内容を同比率で重ね合わせたものを使用しています。その上にキャラクターやペイントスタイルを加えるためのマージを行っています。うまくいけば,できるだけ多くのシチュエーションに対応できることでしょう。
Thanks Super Merger.
-----------------------------
for V1
This is an Japanese anime style SD model based on Kawaii Realistic Anime Mix A0.4.
Initially, I was creating a flat version that should make roughly the same pictures as A04, but after getting a little carried away and trying out various things, I decided to make it public because I thought it was good enough. Unfortunately, the picture this makes is different from A04. This model based on A04, but since not even a piece of "Realistic" remains, I decided to name it "Animetic".
Kawaii Realistic Anime Mix A0.4をベースとしたアニメ調のモデルです。
当初はA04とだいたい同じ絵を出すフラット版を作成していたのですが,少し悪乗りしていろいろ試した結果,もうこれでいいんじゃないかと思ったので公開してみることにしました。このモデルのベースはA04なのですが,もはやRealisticの欠片も残っていないので名前はAnimeticとしました。
Please use negative prompts to a minimum. In many cases it is not necessary.
Certain samplers are extremely prone to burning. If the burn is severe with the 2M type, try using the SDE type.
I used vae-ft-mse-840000-ema-pruned.safetensors for verification, but you can use any VAE of your choice.
I recommend a CFG Scale of 3 or higher and a step count of 10 or higher.
When running on an old GPU or CPU (even in a laptop PC), it produces a decent picture with fewer steps.
Negative promptは最小限で使ってください。多くの場合は必要ありません。
特定のサンプラーでは,非常にBurningを起こしやすくなります。2M系で焼けがひどいときはSDE系にしてみてください。
検証ではvae-ft-mse-840000-ema-pruned.safetensorsを使用していますが,お好みのVAEが利用できます。
CFG Scaleは3以上,ステップ数は10以上を推奨。
古めのGPUやノートPC環境などでのCPU実行時に少ないステップでそこそこの絵を出します。