这次,海马体照相馆可能真的要木得了!!
前有妙鸭相机这种付费傻瓜式的 AI 写真程序,后有 Stable Diffusion 定制属于自己的 Lora 模型的围攻。
但今天要分享的确实一个叫 EasyPhoto 的 AI 写真照片生成器!
免费,使用起来却非常简单。
一 EasyPhoto
EasyPhoto 是一款 Stable
diffusion 插件,用于生成AI肖像画,主要用于训练个人数字分身。
训练方式非常简单,只需要提供 5 到 20 张肖像图片(最好是半身照片且尽量不要佩戴眼镜),20 分钟左右,Stable diffusion 就可以训练好数字分身。
训练完成后,我们可以使用预设的模板或者自己上传图片进行预测,也就是脸部替换了!
二 安装
和其他插件安装方式一样,直接在
扩展中->从网址安装,输入 https://ghproxy.com/https://github.com/aigc-apps/sd-webui-EasyPhoto 链接进行安装。
除了安装 EasyPhoto 插件外还需要将 ControlNet 的个数设置大于 3,EasyPhoto 在训练的时候会调用 ControlNet 。
三 训练数字分身
1 上传图片集
安装好插件后进入界面可以看到多出了一个 EasyPhoto 菜单。进入 EasyPhoto 页面后上传需要训练的照片集。
推荐5-20 照肖像照,不同的角度不同的光照效果会更好哦!
2 训练参数设置
EasyPhoto 非常贴心,已经帮我们设置好了默认的配置选项,第一次玩我们可以完全跳过。直接进行下一步开始训练。
关于参数的介绍:
·
base checkpoint : 基于什么模型训练;默认是 Chilloutmix-Ni-pruned-fp16-fix 此模型专门用来生成逼真的真人模型,生成的光影效果及人物质感也相当好,配合各种Lora模型做换脸使用可以说是百搭
·
resolution:训练时喂入网络的图片大小,默认值为512
·
validation & save steps: 验证图片与保存中间权重的steps数,默认值为100,代表每100步验证一次图片并保存权重
·
max train steps: 最大训练步数,默认值为800
·
max steps per photos: 每张图片的最大训练次数,默认为200
·
train batch size: 训练的批次大小,默认值为1
·
gradient accumulation steps:是否进行梯度累计,默认值为4,结合train batch size来看,每个Step相当于喂入四张图片
·
dataloader num workers: 数据加载的works数量,windows下不生效,因为设置了会报错,Linux正常设置
·
learning rate: 训练Lora的学习率,默认为1e-4
·
rank Lora: 权重的特征长度,默认为128
·
network alpha : Lora训练的正则化参数,一般为rank的二分之一,默认为64
·
Validation: EasyPhoto在训练时默认会对训练过程进行验证,然后根据
训练过程中的验证结果,进行最优秀的几个Lora进行融合。会影响训练的速度,比较吃显存!
最终训练步数 Final training step = Min(photo_num * max_steps_per_photos,
max_train_steps)
简单来说就是:图片数量比较少,训练步数为 photo_num * max_steps_per_photos。图片数量比较多,训练步数为 max_train_steps
3 开始训练
参数配置好之后直接点击 star Training,接着输入分身名称。
再接着就可以去喝杯咖啡了~
☕️
在这期间会下载资源(如果是第一次会下载 10G 左右的资源)并进行训练
你可以在后台看到具体的日志和进度
直到看到这个就表示训练成功了
四 人物生成
在训练 成功之后,我们就可以进入到 Interface 页面了。点击一下刷新按钮就可以看见我们刚才训练出来的分身了。
EasyPhoto 提供了三种人物生成方式(脸部替换)
1 基于预设模板
我们可以直接选择一个预设的模板,然后选择我们的数字分身,直接生成
2 上传图片进行替换
直接上传一张底图,选择数字分身,替换底图的人物脸部。这个大家可以自己尝试尝试
3 生成图模式
虽然说是生成图。但是 EeasPhoto 目前还只是支持选择特定维度提示词进行生成。不支持直接根据用户输入直接生成。
最后在来说说生成的时候可以设置的高级选项~可以按需调整
·
Additional Prompt 正向提示词:传入Stable Diffusion模型进行预测。可以根据自身希望增加的元素调整prompt词。
·
Seed 种子值:用于保证结果的可复现性,为-1时会随机选择一个种子数。
·
Face Fusion Ratio Before 第一次人脸融合的强度:调节后会影响人物相似度,一般来讲,值越大与训练人物的相似度越高。
·
Face Fusion Ratio After 第二次人脸融合的强度:调节后会影响人物相似度,一般来讲,值越大与训练人物的相似度越高。
·
First Diffusion steps 第一次进行Stable Diffusion的总步数:第一次Diffusion主要进行人像区域的调整,使得人像更自然。调节后会影响图片质量与出图速度,一般值越大图片质量越高,出图越慢。
·
First Diffusion denoising strength 第一次进行Stable Diffusion的重绘比例:调节后会影响图片的重绘比例与出图速度,一般值越大,人像变动越大。
·
Second Diffusion steps 第二次进行Stable Diffusion的总步数:第二次Diffusion主要进行人像周围区域的调整,使得图片更和谐。调节后会影响图片质量与出图速度,一般值越大图片质量越高,出图越慢。
·
Second Diffusion denoising strength 第二次进行Stable Diffusion的重绘比例:调节后会影响图片的重绘比例与出图速度,一般值越大,人像周围变动越大。
·
Crop Face Preprocess 是否对人像裁剪后再处理:推荐开启,假设输入的是大图,会对人像区域先做裁剪后再进行人像调整,调整结果更精细。
·
Apply Face Fusion Before 是否进行第一次人脸融合:调节后会影响是否进行第一次人脸融合,会影响人像的相似度。
·
Apply Face Fusion After 是否进行第二次人脸融合:调节后会影响是否进行第二次人脸融合,会影响人像的相似度。如果感觉人像发虚则取消该次融合。
·
Apply color shift first 是否进行第一次DIffusion后的色彩校正:调节后会影响图片的人像自然程度。
·
Apply color shift last 是否进行第二次DIffusion后的色彩校正:调节后会影响图片的人像自然程度。
·
Background Restore 是否进行背景的重建:开启后可以对人像区域外背景进行重建,在使用动漫化模型时,可以让整个图片更和谐。
出自:https://mp.weixin.qq.com/s/zSwXJY14hECwHrDIc5X4ZA