Lumi N0VA

LORA
Reprint


Updated:

82

米哈游人工桌面鹿鸣的LoRA模型,因为没有类似质感的底模,最终选择SD1.5官方模型作为底模,这样与各种衍生模型契合度都比较好。本来一开始只打算训练最新直播中的两套服装的,一共六十多张截图,结果由于同一段直播中背景和服饰相似度太大,导致训练结果loss值很低的情况下背景和服饰已经过拟合了,脸部却还是欠拟合状态,因此后面又从鹿鸣抖音号中下载短视频进行多样化图片的截取,一共三百多张截图,有的视频清晰度较低,截图质量不高,然后基于之前一轮训练的模型继续训练,得出现在的结果,整体来说效果还不错,包含多套服饰。但是因为鹿鸣视频背景都是浅色为主,与肤色过于接近,导致手部很难分辨,因此出图手部不重绘的情况下需要看脸抽卡。权重在0.8左右效果比较稳定,配合EasyNegative等负面提示词模型效果更好。

权重在0.4时,能保留模型主体特征,并提供更大的自由度以更换姿势、服装及背景,画出更通用但不那么还原的图。

不开高清修复:我一般先使用文生图批量绘制低分辨率图,然后通过图生图SD upscale脚本进行超分辨率放大,540x960的图经过两次放大可得到效果更好的4k图片,此方法比直接高清修复更不吃显卡,可以使配置较低的硬件更快生成更高清的图片,放大时需要微调参数,因为是多张图放大后拼接,所以重绘幅度不宜过大,否则会导致图片不同部分毫无关联。动漫人物用真人底模绘制时,如果太还原可能没有那么好看,真人底模应该降低权重生成类似cosplay的图片。

开高清修复:初始分辨率540x960,采用R-ESRGAN 4x+放大算法,重绘幅度0.3放大2倍进行高清修复,然后图生图用SD upscale脚本,选择同样的算法,重绘幅度0.1进行超分放大,可以得到效果不错的4k高清图片。(此方法第一步直接生成1080P的图片,比较看脸,不易批量操作,16G显存最多只能同时生成4张图片,出图及修图效率较低,但是质量较高)

Version Detail

SD 1.5
CREDITS: https://civitai.com/models/106515?modelVersionId=114402

Project Permissions

Model reprinted from : https://civitai.com/models/106515?modelVersionId=114402

Reprinted models are for communication and learning purposes only, not for commercial use. Original authors can contact us to transfer the models through our Discord channel --- #claim-models.

Comments

Related Posts

No posts yet
Describe the image you want to generate, then press Enter to send.