Stable Diffusion 30分钟打造AI 写真照片生成器|海马体照相馆这次真的要木得了
AI魔法学院
2024-01-24
分享海报

这次,海马体照相馆可能真的要木得了!!

前有妙鸭相机这种付费傻瓜式的 AI 写真程序,后有 Stable Diffusion  定制属于自己的 Lora 模型的围攻。

但今天要分享的确实一个叫 EasyPhoto 的 AI 写真照片生成器!

免费,使用起来却非常简单。

一 EasyPhoto

IMG_256

EasyPhoto 是一款 Stable diffusion 插件,用于生成AI肖像画,主要用于训练个人数字分身。

训练方式非常简单,只需要提供 5 到 20 张肖像图片(最好是半身照片且尽量不要佩戴眼镜),20 分钟左右,Stable diffusion 就可以训练好数字分身。

训练完成后,我们可以使用预设的模板或者自己上传图片进行预测,也就是脸部替换了!

二 安装

和其他插件安装方式一样,直接在 扩展中->从网址安装,输入 https://ghproxy.com/https://github.com/aigc-apps/sd-webui-EasyPhoto 链接进行安装。IMG_257

除了安装 EasyPhoto 插件外还需要将 ControlNet 的个数设置大于 3,EasyPhoto 在训练的时候会调用 ControlNet 。IMG_258

三 训练数字分身

1 上传图片集

安装好插件后进入界面可以看到多出了一个 EasyPhoto 菜单。进入 EasyPhoto 页面后上传需要训练的照片集。

推荐5-20 照肖像照,不同的角度不同的光照效果会更好哦!

IMG_259

2 训练参数设置

EasyPhoto 非常贴心,已经帮我们设置好了默认的配置选项,第一次玩我们可以完全跳过。直接进行下一步开始训练。IMG_260

关于参数的介绍:

·         base checkpoint : 基于什么模型训练;默认是 Chilloutmix-Ni-pruned-fp16-fix 此模型专门用来生成逼真的真人模型,生成的光影效果及人物质感也相当好,配合各种Lora模型做换脸使用可以说是百搭

·         resolution:训练时喂入网络的图片大小,默认值为512

·         validation & save steps: 验证图片与保存中间权重的steps数,默认值为100,代表每100步验证一次图片并保存权重

·         max train steps: 最大训练步数,默认值为800

·         max steps per photos: 每张图片的最大训练次数,默认为200

·         train batch size: 训练的批次大小,默认值为1

·         gradient accumulation steps:是否进行梯度累计,默认值为4,结合train batch size来看,每个Step相当于喂入四张图片

·         dataloader num workers: 数据加载的works数量,windows下不生效,因为设置了会报错,Linux正常设置

·         learning rate: 训练Lora的学习率,默认为1e-4

·         rank Lora: 权重的特征长度,默认为128

·         network alpha : Lora训练的正则化参数,一般为rank的二分之一,默认为64

·         Validation: EasyPhoto在训练时默认会对训练过程进行验证,然后根据 训练过程中的验证结果,进行最优秀的几个Lora进行融合。会影响训练的速度,比较吃显存!

最终训练步数 Final training step = Min(photo_num * max_steps_per_photos, max_train_steps)

简单来说就是:图片数量比较少,训练步数为 photo_num * max_steps_per_photos。图片数量比较多,训练步数为 max_train_steps

3 开始训练

参数配置好之后直接点击 star Training,接着输入分身名称。

再接着就可以去喝杯咖啡了~ ☕️

在这期间会下载资源(如果是第一次会下载 10G 左右的资源)并进行训练

你可以在后台看到具体的日志和进度IMG_261

直到看到这个就表示训练成功了IMG_262

四 人物生成

在训练 成功之后,我们就可以进入到 Interface 页面了。点击一下刷新按钮就可以看见我们刚才训练出来的分身了。IMG_263

EasyPhoto 提供了三种人物生成方式(脸部替换)

1 基于预设模板

我们可以直接选择一个预设的模板,然后选择我们的数字分身,直接生成IMG_264

2 上传图片进行替换

直接上传一张底图,选择数字分身,替换底图的人物脸部。这个大家可以自己尝试尝试

3 生成图模式

虽然说是生成图。但是 EeasPhoto 目前还只是支持选择特定维度提示词进行生成。不支持直接根据用户输入直接生成。IMG_265

最后在来说说生成的时候可以设置的高级选项~可以按需调整

·         Additional Prompt 正向提示词:传入Stable Diffusion模型进行预测。可以根据自身希望增加的元素调整prompt词。

·         Seed 种子值:用于保证结果的可复现性,为-1时会随机选择一个种子数。

·         Face Fusion Ratio Before 第一次人脸融合的强度:调节后会影响人物相似度,一般来讲,值越大与训练人物的相似度越高。

·         Face Fusion Ratio After 第二次人脸融合的强度:调节后会影响人物相似度,一般来讲,值越大与训练人物的相似度越高。

·         First Diffusion steps 第一次进行Stable Diffusion的总步数:第一次Diffusion主要进行人像区域的调整,使得人像更自然。调节后会影响图片质量与出图速度,一般值越大图片质量越高,出图越慢。

·         First Diffusion denoising strength 第一次进行Stable Diffusion的重绘比例:调节后会影响图片的重绘比例与出图速度,一般值越大,人像变动越大。

·         Second Diffusion steps 第二次进行Stable Diffusion的总步数:第二次Diffusion主要进行人像周围区域的调整,使得图片更和谐。调节后会影响图片质量与出图速度,一般值越大图片质量越高,出图越慢。

·         Second Diffusion denoising strength 第二次进行Stable Diffusion的重绘比例:调节后会影响图片的重绘比例与出图速度,一般值越大,人像周围变动越大。

·         Crop Face Preprocess 是否对人像裁剪后再处理:推荐开启,假设输入的是大图,会对人像区域先做裁剪后再进行人像调整,调整结果更精细。

·         Apply Face Fusion Before 是否进行第一次人脸融合:调节后会影响是否进行第一次人脸融合,会影响人像的相似度。

·         Apply Face Fusion After 是否进行第二次人脸融合:调节后会影响是否进行第二次人脸融合,会影响人像的相似度。如果感觉人像发虚则取消该次融合。

·         Apply color shift first 是否进行第一次DIffusion后的色彩校正:调节后会影响图片的人像自然程度。

·         Apply color shift last 是否进行第二次DIffusion后的色彩校正:调节后会影响图片的人像自然程度。

·         Background Restore 是否进行背景的重建:开启后可以对人像区域外背景进行重建,在使用动漫化模型时,可以让整个图片更和谐。

出自:https://mp.weixin.qq.com/s/zSwXJY14hECwHrDIc5X4ZA

© THE END

转载请联系本网站获得授权

投稿或版权问题请加微信:skillupvip