项目简介
PhotoMaker是腾讯最近开源的照片生成工具，这是一种高效的个性化文本到图像生成方法。该工具不仅能根据文本描述生成逼真的人类照片，还具备“堆叠ID嵌入”功能，这一功能可以利用多张照片作为身份ID，获取人物特征，从而创造出新的、个性化的人物图像。
PhotoMaker展现了在文本到图像生成领域的新突破，尤其是在个性化和真实感方面的进步。这种技术有望在多个领域中发挥重要作用，例如艺术创作、媒体出版等。
示例
依赖和安装
Python >= 3.8（推荐使用 Anaconda 或 Miniconda）PyTorch >= 2.0.0
·
conda create --name photomaker python=3.10
conda activate photomaker
pip install -U pip
# Install requirements
pip install -r requirements.txt
# Install photomakerpip install git+https://github.com/TencentARC/PhotoMaker.git
然后可以运行以下命令来使用
·
from photomaker import PhotoMakerStableDiffusionXLPipeline
如何测试
像使用 diffusers 一样使用
·依赖项
·
import torch
import os
from diffusers.utils import load_image
from diffusers import EulerDiscreteScheduler
from photomaker import PhotoMakerStableDiffusionXLPipeline
### Load base model
pipe = PhotoMakerStableDiffusionXLPipeline.from_pretrained( base_model_path, # can change to any base model based on SDXL torch_dtype=torch.bfloat16, use_safetensors=True, variant="fp16").to(device)
### Load PhotoMaker checkpoint pipe.load_photomaker_adapter( os.path.dirname(photomaker_path), subfolder="", weight_name=os.path.basename(photomaker_path), trigger_word="img" # define the trigger word)
pipe.scheduler = EulerDiscreteScheduler.from_config(pipe.scheduler.config)
### Also can cooperate with other LoRA modules
# pipe.load_lora_weights(os.path.dirname(lora_path), weight_name=lora_model_name, adapter_name="xl_more_art-full")
# pipe.set_adapters(["photomaker", "xl_more_art-full"], adapter_weights=[1.0, 0.5])
pipe.fuse_lora()
·输入 ID 图像
·
### define the input ID images
input_folder_name = './examples/newton_man'
image_basename_list = os.listdir(input_folder_name)
image_path_list = sorted([os.path.join(input_folder_name, basename) for basename in image_basename_list])
input_id_images = []
for image_path in image_path_list: input_id_images.append(load_image(image_path))
·生成
·
# Note that the trigger word `img` must follow the class word for personalization
prompt = "a half-body portrait of a man img wearing the sunglasses in Iron man suit, best quality"
negative_prompt = "(asymmetry, worst quality, low quality, illustration, 3d, 2d, painting, cartoons, sketch), open mouth, grayscale"
generator = torch.Generator(device=device).manual_seed(42)
Images=pipe( prompt=prompt, input_id_images=input_id_images, negative_prompt=negative_prompt, num_images_per_prompt=1, num_inference_steps=num_steps, start_merge_step=10, generator=generator,).images[0]
gen_images.save('out_photomaker.png')
启动一个本地 gradio 演示
运行以下命令：
·
python gradio_demo/app.py
使用提示
上传更多要定制的人物的照片，以提高 ID 忠实度。如果输入是亚洲面孔，可以考虑在类别词前加上“亚洲”，例如，亚洲女性图像。
在进行风格化时，生成的面孔如果看起来太真实了，调整风格强度到 30-50，数字越大，ID 忠实度越低，但风格化能力会更好。你也可以尝试使用其他基础模型或具有良好风格化效果的 LoRAs。
减少生成的图像数量和采样步骤可以加快速度。然而，减少采样步骤可能会影响 ID 忠实度。
项目链接
https://github.com/TencentARC/PhotoMaker
出自：https://mp.weixin.qq.com/s/SY-JGJfm728Gs6IyWgnGoA