deepfacelab个人训练心得
2026-06-27 21:15:44
查看: 5732|回复: 10
deepfacelab个人训练心得
[复制链接]
随风漂流
随风漂流
当前离线
积分9392
窥视卡
雷达卡
40
主题77
回帖9392
积分
中级丹王
中级丹王, 积分 9392, 距离下一级还需 208 积分
中级丹王, 积分 9392, 距离下一级还需 208 积分
积分9392
发消息
电梯直达
楼主
发表于 2025-6-10 20:29:26
|
只看该作者
|倒序浏览
|阅读模式
本帖最后由 随风漂流 于 2025-6-11 09:32 编辑
SRC 素材质量很重要，好的src素材才可以训练出好的清晰的模型，有时候需要从多个电视剧才能提取出全角度的素材，src素材是最麻烦的， 推荐4k视频提取 1024 头像，src角度尽可能的全，下牙的素材也需要找出来，素材数量推荐在 2K 到- 8K张左右
src 图片越多，需要训练的次数越多才能达到模型清晰，举个不太恰当的例子 ： 2000张 src 素材 需要训练 50万迭代， 那么 8000 张 src 素材 需要训练150万迭代，当然这个举例不太恰当，但是意思就是这样，src素材越多需要训练更多的迭代次数才能让模型变清晰
如果素材太多，训练次数少oss值大 ，模型相似度也会降低
如果 src 素材 几十张，角度也比较齐全，训练速度会很快，也许几个小时就可以训练清晰，但是由于src素材太少，src素材缺失很多角度表情导致模型学不到，最终的模型效果也不太理想，比如 笑，哭，闭眼等模型学不到相似度会很低
关于 bs （batch size），开启随机扭曲的时候，224分辨率，256分辨率， 288分辨率， bs = 4 或者 bs = 6 或者 bs =8 都可以（三维适中）
如果是 320分辨率以上，开启扭曲训练bs =4 ，模型训练处理相似度会比较低， 推荐 bs = 8
src 素材和 dst素材， dst里边不要放 src 素材，要不然模型训练出来相似度会降低
如果是直播换脸，推荐 224 256 288 这三个分辨率liae架构的模型，并且模型三维参数不要太高，模型参数太高的话，训练速度会很慢，并且直播的时候帧率会很低
如果是视频换脸， 可以选择df 架构， 推荐 rope，facefusion，VIsoMaster 这些换脸工具，都支持dfm模型，当然也可以使用 deepfacelab 自带的， deepfacelab自带的合成换脸视频非常落伍了，操作比较麻烦
注意事项，
我一般用 288分辨率模型，deepfacelab-MVE训练
第一步开扭曲 bs 等于 4 开启随机颜色（开启随机颜色模型光影效果好）
其他参考 https://www.aibl.vip/forum.php?mod=viewthread&tid=13
最后一步 关闭随机颜色，开gan的时候，bs开到最大，颜色转换选择 rct
随机压缩 和 随机采样降低采样率 一直开启
（liae架构的一般不会出现坏丹，Enable gt zoeulipping 梯度递减一般不开启， df架构的需要开启梯度递减 ）
模型训练一般在 100W-200W 迭代就可以出个很清晰的模型，src素材非常重要
deepfacelab-MVE：https://www.aibl.vip/forum.php?mod=viewthread&tid=597
女性dst素材推荐： https://www.aibl.vip/forum.php?mod=viewthread&tid=1774
关于几个小时训练出来一个模型方法有两种方式，第一 src素材只有几十张，第二 不开扭曲直接训练
这两种训练出来的模型，相似度低，模型表情不自然
禁止使用我发布的模型用于商业
AIBL论坛免责申明
本论坛刊载的所有内容，包括图片、软件、模型等均在网上搜集。
论坛提供的内容仅用于个人学习、研究或欣赏。我们不保证内容的正确性。通过使用本站内容随之而来的风险与本站无关
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
回复
使用道具
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
照妖镜
Jitbowu
Jitbowu
当前离线
积分647
窥视卡
雷达卡
2
主题39
回帖647
积分
中级丹师
中级丹师, 积分 647, 距离下一级还需 553 积分
中级丹师, 积分 647, 距离下一级还需 553 积分
积分647
发消息
沙发
发表于 2025-6-11 01:43:22
|
只看该作者
dst的数量应该也非常增加训练时间，
而且数量多一倍，训练时间应该不止增加一倍而已
所以，我现在的做法是，假如我要换的dst不会出现的明暗、表情、眼神、发型，我都会尽量剔除掉，
以减少训练的时间，
也就是我的dst训练集是要有针对性的，不能包罗万有，否则很多的训练应该是用不上的
回复
使用道具
举报
照妖镜
随风漂流
随风漂流
当前离线
积分9392
窥视卡
雷达卡
40
主题77
回帖9392
积分
中级丹王
中级丹王, 积分 9392, 距离下一级还需 208 积分
中级丹王, 积分 9392, 距离下一级还需 208 积分
积分9392
发消息
板凳
楼主|
发表于 2025-6-11 09:05:35
|
只看该作者
Jitbowu 发表于 2025-6-11 01:43
dst的数量应该也非常增加训练时间，
而且数量多一倍，训练时间应该不止增加一倍而已
所以，我现在的做法是 ...
我是训练万能直播模型的，不是换视频的
关于几个小时训练出来一个模型方法有两种方式，第一 src素材只有几十张，第二 不开扭曲直接训练
这两种训练出来的模型，相似度低，模型表情不自然
禁止使用我发布的模型用于商业
回复
使用道具
举报
照妖镜
DFL小白02
DFL小白02
当前离线
积分654
窥视卡
雷达卡
14
主题31
回帖654
积分
中级丹师
中级丹师, 积分 654, 距离下一级还需 546 积分
中级丹师, 积分 654, 距离下一级还需 546 积分
积分654
发消息
地板
发表于 2025-6-11 12:10:50
|
只看该作者
本帖最后由 DFL小白02 于 2025-6-11 12:13 编辑
隔壁有人说dst人脸太杂的话训练的越多相似度会反而降低？有这种感觉吗
屏幕截图 2025-06-11 121151.png (68.83 KB)
下载附件
2025-6-11 12:12 上传
回复
使用道具
举报
照妖镜
noor
noor
当前离线
积分332
窥视卡
雷达卡
2
主题59
回帖332
积分
初级丹师
初级丹师, 积分 332, 距离下一级还需 268 积分
初级丹师, 积分 332, 距离下一级还需 268 积分
积分332
发消息
5#
发表于 2025-6-12 18:13:37
|
只看该作者
向大佬请教一个问题，用rope配合dfm，为什么出来的人脸，中远景还可以，近景的大脸会出现重影，也就是糊了，是不是模型质量不行
回复
使用道具
举报
照妖镜
随风漂流
随风漂流
当前离线
积分9392
窥视卡
雷达卡
40
主题77
回帖9392
积分
中级丹王
中级丹王, 积分 9392, 距离下一级还需 208 积分
中级丹王, 积分 9392, 距离下一级还需 208 积分
积分9392
发消息
6#
楼主|
发表于 2025-6-12 19:18:55
|
只看该作者
noor 发表于 2025-6-12 18:13
向大佬请教一个问题，用rope配合dfm，为什么出来的人脸，中远景还可以，近景的大脸会出现重影，也就是糊了 ...
可能是模型质量，你用我的 彭小冉的模型 试试
关于几个小时训练出来一个模型方法有两种方式，第一 src素材只有几十张，第二 不开扭曲直接训练
这两种训练出来的模型，相似度低，模型表情不自然
禁止使用我发布的模型用于商业
回复
使用道具
举报
照妖镜
aibl81316
aibl81316
当前离线
积分289
窥视卡
雷达卡
0
主题12
回帖289
积分
高级丹童
高级丹童, 积分 289, 距离下一级还需 11 积分
高级丹童, 积分 289, 距离下一级还需 11 积分
积分289
发消息
7#
发表于 2025-6-14 13:24:13
|
只看该作者
本帖最后由 aibl81316 于 2025-6-14 20:09 编辑
感谢分享！
回复
使用道具
举报
照妖镜
随风漂流
随风漂流
当前离线
积分9392
窥视卡
雷达卡
40
主题77
回帖9392
积分
中级丹王
中级丹王, 积分 9392, 距离下一级还需 208 积分
中级丹王, 积分 9392, 距离下一级还需 208 积分
积分9392
发消息
8#
楼主|
发表于 2025-10-28 18:11:37
|
只看该作者
DFL小白02 发表于 2025-6-11 12:10
隔壁有人说dst人脸太杂的话训练的越多相似度会反而降低？有这种感觉吗 ...
如果训练一个模型想让 小红 用, dst 素材推荐用小红 一个人头像素材
如果训练一个模型想让 不同的人 用, dst 素材就需要放很多人的素材
关于几个小时训练出来一个模型方法有两种方式，第一 src素材只有几十张，第二 不开扭曲直接训练
这两种训练出来的模型，相似度低，模型表情不自然
禁止使用我发布的模型用于商业
回复
使用道具
举报
照妖镜
ken_3166
ken_3166
当前离线
积分69
窥视卡
雷达卡
0
主题8
回帖69
积分
中级丹童
中级丹童, 积分 69, 距离下一级还需 31 积分
中级丹童, 积分 69, 距离下一级还需 31 积分
积分69
发消息
9#
发表于 2026-1-9 02:56:12
|
只看该作者
学习了，感谢分享
回复
使用道具
举报
照妖镜
coolkyanyi
coolkyanyi
当前离线
积分44
窥视卡
雷达卡
0
主题18
回帖44
积分
初级丹童
初级丹童, 积分 44, 距离下一级还需 6 积分
初级丹童, 积分 44, 距离下一级还需 6 积分
积分44
发消息
10#
发表于 2026-3-11 17:16:57
|
只看该作者
感謝分享經驗，謝謝！
回复
使用道具
举报
照妖镜