最近腾讯的PhotoMaker很火,因为仅需要一张大头照就可以快速实现类似妙鸭相机的效果,现在又有一个类似的解决方案InstantID出现了,它能够在保持高保真度的同时,仅使用一张面部图像实现个性化图像合成,支持各种不同的风格,今天一起来了解一下!
# InstantID介绍
01
工具介绍
InstantID 是一个图像生成工具,旨在高效、准确地保持人物身份特征,同时生成具有不同风格和姿势的图像。它特别适合于那些需要保持人物身份一致性的场景,如个性化图像合成。
02
技术特点
·
零样本学习:InstantID不依赖于大量的训练数据,它能够直接从一张图像中提取身份特征,这对于资源有限的场景尤其有价值。
·
·
高保真度:通过精心设计的算法,InstantID能够在生成的图像中精确地保留人物的面部特征,包括表情、年龄和性别等细节。
·
·
即插即用:作为一个轻量级的模块,InstantID可以轻松地集成到现有的文本到图像扩散模型中,无需对模型进行复杂的修改。
·
·
兼容性:InstantID与流行的预训练模型如SD1.5和SDXL兼容,这使得它能够无缝地适应不同的图像生成环境。
·
·
高效性:InstantID 的方法在推理过程中只需要单次前向传播,这使得它在实际应用中非常经济和实用。
·
·
风格灵活性:InstantID 能够生成各种风格的图像,同时保持对文本编辑的控制能力,使得图像生成过程既灵活又可控。
·
# 使用指南
体验地址:
https://huggingface.co/spaces/InstantX/InstantID
01
使用流程
1、上传人物图片。对于多人图像,会检测最大的脸部。确保脸部不要太小,并且没有明显遮挡或模糊。
2、(可选)上传另一个人的图像作为参考姿势。如果没有上传,我们将使用第一人称图像来提取地标。如果您在步骤1中使用了裁剪后的脸部,建议上传它以提取新的姿势。
3、输入文本提示,就像在普通文本到图像模型中所做的那样。
4、单击“提交”按钮开始定制。
如果你没有准备好照片,那么可以用网页自带的照片和参数,一键体验。
只要点击网页底部Examples中的任何一行,就会自动帮你完成内容填充。
已经准备的素材包含马斯克,奥特曼,李开复,还有两位AI技术大佬YannLeCun和schmidhuber 。
比如选一张马斯克的照片,然后把风格改为火星(Mars),然后点一下确认(Submit)。
稍等片刻就可以看到在火星的的马斯克了~~
02
使用技巧
1、如果对相似度不满意,请增加 controlnet_conditioning_scale (IdentityNet) 和 ip_adapter_scale (Adapter) 的权重。
2、如果生成的图像过饱和,请减小 ip_adapter_scale。如果不起作用,请减少 controlnet_conditioning_scale。
3、如果文本控制不符合预期,请减小 ip_adapter_scale。
4、找到一个好的基础模型。
分享就到这里啦,感兴趣的小伙伴们快去试试吧!
出自:https://mp.weixin.qq.com/s/WMkdQUQ0p1S0FhkRz98nRg