在SD中有很多人物换脸的新技术，比如像之前的Roop还有ReActor，它们都可以实现仅凭一张图进行人物换脸，后来又出现了EasyPhoto，可以通过快速炼制的小模型来对人物进行模仿。而最近，controlnet中又加入了一个新成员——Instant ID。它可以仅通过一张图片进行完美换脸，可能是目前最强的脸部迁移模型。

与现有的免调谐先进技术进行比较。InstantID 实现了更好的保真度，并保留了良好的文本可编辑性（面孔和样式融合得更好）。

可以用于特定人物生成广告大片和艺术照，或者是进行视频中的人物换脸。

#01

一键部署启动   

接下来，我们来讲一下如何使用这个功能。

首先将controlnet升级到最新的版本，目前我的是V1.1.440，可以看到在控制选项中多了一个Instant_ID，这就是我们今天的主角了。

点开预处理器选项，可以看到有两个新的选项——instant_id_face_embedding 和 instant_id_face_keypoints。与此配套的，我们还需要下载一下最新的controlnet模型。这里我已经给大家整理好了，只需要到我的云盘里就可以直接下载了，然后将下载好的模型放入到以下路径中——E:\sd-webui-aki-v4.4\extensions\sd-webui-controlnet\models除此之外，我们还需要下载5个insightface的模型，我也在云盘里给大家准备好了。
将模型放到如下的路径当中，如果没有此文件夹可以新建一下——E:\sd-webui-aki-v4.4\extensions\sd-webui-controlnet\annotator\downloads\insightface\models\antelopev2重启软件，这样，我们的Instant_ID就安装好了。

#02

使用方法   

Instant ID 使用 ControlNet 和 IP-Adapter 的组合来控制扩散过程中的面部特征。

要使用Instant_ID，我们需要开启两个controlnet进行控制。

在第一个单元中，我们主要进行的是人脸的参考，放入一张人物的正脸照片，因为 ControlNet 模型从 ipadapter 模型获取输出。

预处理器选择instant_id_face_embedding，模型选择ip-adapter_instant_id_sdxl 。第二个单元是进行人物面部朝向的参考，可以放入一张动作的照片，这个模块参考的主要是头的朝向，脸部是谁并不重要，至于人物的姿态动作会随机生成。
预处理器选择instant_id_face_keypoints，模型选择control_instant_id_sdxl  。

#03

生图测试   

目前Instant_ID只适用于sdxl大模型，经过我的测试，并不所有的sdxl模型都能产生很好的效果，这里我先选择一个turboDiffusion大模型，并将vae切换为自动。

我输入一段油画风格的提示词内容。
提示词引导系数这里不能设置为太高，一般在2-4之间效果会比较好。看一下出图效果，还是挺不错的，脸部也很像。
由于sdxl拥有很多种不同的风格，我们可以试试其他的提示词控制和参考图片，以下是我的一些测试。
赛博朋克风格。

日常生活照。

影楼写真照。

素描绘画风格。

古装造型。简直太像了！她果然还是非常适合这个造型。





关于Instant ID模型的使用方法就介绍到这里，总体测试下来感觉，人物的相似度还是非常高的，比起之前的一图换脸插件roop的效果提升了不止一点点，甚至可以与lora模型不相上下。不过缺点是，需要使用sdxl模型，对电脑配置有一定的要求，并且大模型的选择和图片选择也会对图片质量产生很大的影响，所以要出好图还是需要多多地尝试。

出自：https://mp.weixin.qq.com/s/sXLJMSsjqN2bRoyDWYpBKw