ComfyUI的特性以及安装流程
AI魔法学院
2023-12-08
分享海报

ComfyUI

https://github.com/comfyanonymous/ComfyUI

最强大和模块化的稳定扩散 GUI 和后端。这个界面将让您使用基于图形/节点/流程图的界面设计和执行高级稳定扩散流水线。

特性

  • 使用节点/图形/流程图界面实验和创建复杂的稳定扩散工作流,无需编写任何代码。
  • 完全支持 SD1.xSD2.x SDXL
  • 异步队列系统
  • 许多优化:仅在执行之间更改的工作流部分重新执行。
  • 命令行选项:--lowvram,可在显存小于 3GB GPU 上工作(在显存较低的 GPU 上自动启用)
  • 即使没有 GPU,也可以使用 --cpu 进行工作(速度较慢)
  • 可以加载 ckptsafetensors diffusers 模型/检查点。独立的 VAEs CLIP 模型。
  • 嵌入/文本反演
  • Loras(常规、locon loha
  • 超网络
  • 从生成的 PNG 文件中加载完整工作流程(带种子)。
  • 将工作流程保存/加载为 Json 文件。
  • 节点界面可用于创建复杂的工作流程,例如高分辨率修复或更高级的工作流程。
  • 区域组合
  • 使用常规和修复模型进行修补。
  • ControlNet T2I-Adapter
  • 放大模型(ESRGANESRGAN 变体、SwinIRSwin2SR 等)
  • unCLIP 模型
  • GLIGEN
  • 模型合并
  • 使用 TAESD 进行潜在预览
  • 启动速度非常快。
  • 完全离线工作:永远不会下载任何内容。
  • 配置文件用于设置模型的搜索路径。

安装

Windows

在发布页面上有一个适用于 Windows 的独立便携式版本,适用于在 Nvidia GPU 上运行或仅在 CPU 上运行。

直接下载链接

只需下载、使用 7-Zip 解压缩并运行。确保将稳定扩散的检查点/模型(巨大的 ckpt/safetensors 文件)放在:ComfyUI\models\checkpoints 中。

请参阅配置文件以设置模型的搜索路径。在独立的 Windows 版本中,您可以在 ComfyUI 目录中找到此文件。将此文件重命名为 extra_model_paths.yaml,并使用您喜欢的文本编辑器进行编辑。

Jupyter Notebook

要在 paperspacekaggle colab 等服务上运行,请使用我的 Jupyter Notebook

手动安装(WindowsLinux

克隆此存储库。

将您的 SD 检查点(巨大的 ckpt/safetensors 文件)放在:models/checkpoints

将您的 VAE 放在:models/vae

注意:pytorch 尚不支持 python 3.12,因此请确保您的 python 版本为 3.11 或更早版本。

AMD GPU(仅限 Linux

如果您尚未安装 rocm pytorch,则 AMD 用户可以使用 pip 安装它,这是安装稳定版本的命令:

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm5.6

这是安装具有 ROCm 5.7 的夜间版本的命令,可能具有一些性能改进:

pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/rocm5.7

NVIDIA

NVIDIA 用户应使用以下命令安装 pytorch

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121

模型和常用插件

链接:https://pan.baidu.com/s/1PXGtY_m06tHsQ3yr8lSaZg?pwd=mlab

故障排除

如果出现“Torch not compiled with CUDA enabled”错误,请使用以下命令卸载 torch

pip uninstall torch

然后使用上述命令重新安装。

依赖项

通过在 ComfyUI 文件夹中打开终端并执行以下命令来安装依赖项:

pip install -r requirements.txt

安装完成后,您应该已经安装了所有依赖项,可以继续运行 ComfyUI

其他

Intel Arc

Apple Mac Silicon

您可以在任何最新版本的 macOS 上安装 ComfyUI

安装 pytorch nightly。有关说明,请阅读 Apple Developer 指南中的在 Mac 上加速的 PyTorch 训练(确保安装最新的 pytorch nightly)。

按照 Windows Linux ComfyUI 手动安装说明进行操作。

安装 ComfyUI 的依赖项。如果您已经安装了其他稳定扩散 UI,您可能可以重用依赖项。

运行命令 python main.py --force-fp16 启动 ComfyUI。请注意,只有安装了最新的 pytorch nightly--force-fp16 才能正常工作。

注意:请记得根据 ComfyUI 手动安装中所讨论的,将您的模型、VAELoRAs 等添加到相应的 Comfy 文件夹中。

DirectMLWindows 上的 AMD 显卡)

pip install torch-directml

然后可以使用以下命令启动 ComfyUIpython main.py --directml

我已经安装了另一个稳定扩散 UI,我真的需要安装所有这些依赖项吗?

不需要。如果您已经安装并使用了另一个 UI,并且具有自己的 python 虚拟环境,您可以使用该虚拟环境来运行 ComfyUI。您可以打开您喜欢的终端并激活它:

source path_to_other_sd_gui/venv/bin/activate

或者在 Windows 上:

  • Powershell: path_to_other_sd_gui\venv\Scripts\Activate.ps1
  • cmd.exe: path_to_other_sd_gui\venv\Scripts\activate.bat
  • 然后,您可以使用该终端来运行 ComfyUI,而无需安装任何依赖项。请注意,根据 SD UI 的不同,venv 文件夹的名称可能会有所不同。

运行

python main.py

对于不受 ROCm 官方支持的 AMD 显卡,请尝试使用以下命令运行:

对于 67006600 和可能其他 RDNA2 或更早版本:HSA_OVERRIDE_GFX_VERSION=10.3.0 python main.py

对于 AMD 7600 和可能其他 RDNA3 显卡:HSA_OVERRIDE_GFX_VERSION=11.0.0 python main.py

注意事项

  • 只有具有所有正确输入的输出的图形部分才会被执行。
  • 仅会执行从每次执行到下一次执行发生更改的图形部分。如果提交相同的图形两次,只会执行第一个图形。如果您更改了图形的最后部分,只会执行您更改的部分以及依赖于它的部分。
  • 在网页上拖动生成的 png 或加载它将给您包括用于创建它的种子在内的完整工作流程。
  • 您可以使用 () 来更改单词或短语的强调,例如:(good code:1.2) (bad code:0.8)() 的默认强调值为 1.1。要在实际提示中使用 () 字符,请使用 ( \ 进行转义。
  • 您可以使用 {day|night} 进行通配符/动态提示。使用此语法,"{wild|card|test}" 将在每次排队提示时由前端随机替换为 "wild""card" "test"。要在实际提示中使用 {} 字符,请使用 { \ 进行转义。
  • 动态提示还支持 C 风格的注释,例如 // comment /* comment */
  • 要在文本提示中使用文本反演概念/嵌入,请将它们放在 models/embeddings 目录中,并在 CLIPTextEncode 节点中像这样使用它们(您可以省略 .pt 扩展名):

embedding:embedding_filename.pt

如何提高生成速度?

确保使用 regular loaders/Load Checkpoint 节点加载检查点。它会根据您的 GPU 自动选择正确的设置。

您可以设置此命令行设置以禁用某些交叉注意力操作中的上升到 fp32,从而提高速度。请注意,这很可能会导致 SD2.x 模型生成黑色图像。如果您使用 xformers,则此选项不起作用。

--dont-upcast-attention

如何显示高质量的预览?

使用 --preview-method auto 启用预览。

默认安装包含一个分辨率较低的快速潜在预览方法。要启用使用 TAESD 的高质量预览,请下载 taesd_decoder.pth(用于 SD1.x SD2.x)和 taesdxl_decoder.pth(用于 SDXL)模型,并将它们放置在 models/vae_approx 文件夹中。安装完成后,重新启动 ComfyUI 以启用高质量预览。

© THE END

转载请联系本网站获得授权

投稿或版权问题请加微信:skillupvip