今天分享 Stable Diffusion 图片背景完美替换 功能,通过 Stable Diffusion 图生图重绘蒙版进行背景图的二次重绘。
在广告产品图、头像背景替换、图片后期处理等场景下用到的都很频繁。
整体步骤:
1. 通过 removebg 插件实现图片主体蒙版的抠图
2. 结合图生图的上传重绘蒙版实现背景图的重绘
3. 设置 ControlNet 深度模型进行优化
一 插件安装
首先我们需要安装 rembg 插件,用来获取图片主体的蒙版图。https://github.com/AUTOMATIC1111/stable-diffusion-webui-rembg.git
安装成功后需要重启 webui
二 出图
我们可以先出一张图,方便后续的操作,如果你已经有图了,就不需要这一步了。
模型:majicmixRealistic_v6
提示词:a closeup photorealistic photograph of a rock tower with some leaves,fantastic four theme. icy colorful drink. bright scene. fine detail. this 4 k hd image is trending on artstation,featured on behance,well - rendered,extra crisp,features intricate detail,epic composition and the style of unreal engine,
采样器:Euler a
尺寸:576x768
三 图片主体蒙版获取
有了图片后,打开 后期处理(Extras) 菜单,将图片上传,并设置 移除背景 片段的参数
我们直接选择 u2net 模型,然后勾选回送蒙版,最后点击生成,获取蒙版图片
四 蒙版重绘
有了主体的蒙版图之后,我们就可以进行图生图重绘了
打开图生图菜单,选择 上传重绘蒙版 ,将原图和蒙版图分别推拽到上传区域中。(提示词我们可以根据自己的需求编写)
其中参数
· 蒙版模式:选择重绘非蒙版内容,我们需要保留蒙版内容,只需要重绘背景内容即可
· 重绘幅度:需要设置成1,相当于重新生成背景了,不然会和原图背景比较相近
其它参数可以使用默认,最后点击再次生成
整个效果还是很不错的,主体内容没有任何变化,也可以比较好的融入到新的背景中。
当然我们还可以设置 ControlNet 继续优化
五 ControlNet 深度处理器优化
通过上面的蒙版重绘后基本上已经能够很好的完成背景替换了
接着我们还可以设置 ControlNet 的深度预处理器 让图片的层次感更强。在图生图下面打开 ControlNet 配置,配置好深度预处理器和模型,再次生成,整个景深效果会更好。
更多
出自:https://mp.weixin.qq.com/s/cQ5CR-Dh60bvr088qjRsiQ