基本触发词:circlet, pelvic curtain, veil, skirt, crop top, puffy long sleeves, harem outfit, fake horns, neck ring, blue gemstone
备选触发词:thighlet, gladiator sandals, jewelry, from behind, bare back, back tattoo
其他:dancing, outstretched arms, armpits, bare shoulder, bare legs, underwear, ...
需要有 1girl,solo,以及各种对人物特征的描述。目前测试下来,画风有点受到影响,DPM++ SDE Karras 采样会稳定一些(如果你使用了画风 lora 的话,建议使用这个采样器)。如果你发现画风不太对,可以换其他的采样器,或者调整某些 lora 的权重。
模型略微过拟合,部分细节错误可能是底模缺陷导致的。另外提示词方面,thighlet 可能会和 gladiator sandals 有冲突,jewelry 一般情况下可以不需要 ...
———————————————
自白圣女模型以来第二个炼制难度非常大的模型,主要难点在于画风去除和特征保留。
使用之前的服装训练方法,会出现两种情况:要么特征拟合但画风和人物污染严重,要么人物和画风不受污染,但是特征欠拟合严重。仅训练文本编码器虽然可以在一定程度上防止画风污染,但服装最终也会欠拟合。
因此,我花了五天五夜,终于想出了一个最终的优化方法,保证在 unet 和文本编码器训练流程不变的情况下,找到一个可以衡量并直观反映画风影响的 “核心指标”,剔除画风影响同时不影响特征拟合,最后把原来练心海服装的方法,优化到自己近乎满意的水平。
该方法在原来步骤中间,增加了画风正则化操作,以最大程度削弱 unet 训练带来的画风污染影响。我给整个方法起了个名字,叫迭代正则法。总体思路为:
蒙版图片打标 → 去画风 → 挑选蒙版 lora → 底模合并 → 目标图片打标 → 同概念合并 → 去概念 → 挑选目标 lora
如果你的两个概念集图片各自的融合画风基本相似,那就到此为止了。但如果你的目标训练集和蒙版训练集的融合画风存在较大差距,在挑选目标 lora 后,还需再次进行去画风处理,并重新训练至挑选最终的 lora 模型。
去画风过程中,若模型泛化性过差,采样方法建议选择 DDIM,并设置 eta 系数在 0.5 以上。
现在,该方法可以用于任何一个拥有多个服装概念的角色特定服装训练,这意味着即使是冷门角色也可以学习服装概念,只要这个角色拥有另外一套可替换的服装。这里建议是,直接拿角色的裸图作为第二套服装概念,这样甚至可以做到 3 张图训练一个人物特征较为简单的蒙版 lora。
不仅是服装概念,该方法可用于任何具体概念的分离训练,只需在原来步骤上进行调整即可。先前的大多数问题,经研究都得出了答案,但是直接解释太麻烦,就不在这里回答了。有什么想了解的问题可在评论区提问。