秦时明月少司命的LoRA模型,由于能找的的高清图片很少,训练数据集质量较差,大多是视频截图或者宣传海报图,采用国风3(guofeng3_v32.ckpt [0bb33c7041]
)模型做为底模,基于Dreambooth插件进行LoRA训练,最终训练结果在底模下权重为1时,有较高脸部识别率,使用底模时面纱有一半以上概率能出,其他模型面纱基本没有,脸部辨识度也不高,服装比较复杂,没有单独训练,所以服装还原度也不高,这是本人第一次训练模型,肯定会有很多问题,但是可以将就用一下,期待能有更好的模型。
(经本人在多个底模上进行测试,发现LoRA权重在1~1.4范围内效果较好,如果没有出现面纱,可以适当加强veil这个tag)
2.0版本模型采用秋叶的lora整合包进行训练,把原来数据源中透明背景的图片全部改为了白色背景,而且未进行统一分辨率裁剪,移动端3080显卡用整合包训练,同样数量的数据源,训练时间基本在30分钟左右,产出的包体积更小,效果更好,不再会有1.0那样模糊的效果了,与各大模型结合也更容易,不再会使整体画面偏紫色了,2.0版本lora模型权重在0.5~0.8之间效果最稳定,0.6以上时容易出面纱。
权重在0.4时,能保留模型主体特征,并提供更大的自由度以更换姿势、服装及背景,画出更通用但不那么还原的图。
初始分辨率540x960,采用R-ESRGAN 4x+放大算法,重绘幅度0.3放大2倍进行高清修复,然后图生图用SD upscale脚本,选择同样的算法,重绘幅度0.1进行超分放大,可以得到效果不错的4k高清图片。(此方法第一步直接生成1080P的图片,比较看脸,不易批量操作,16G显存最多只能同时生成4张图片,出图及修图效率较低,但是质量较高)
shaosiming_少司命——秦时明月 - v2.0 | 吐司 [Blocked Link] (tusiart.com)(这里可以在线跑图看效果,需要开高清修复看脸抽卡,速度还可以,每天有免费额度)