使用ComfyUI玩SDXL的正确打开方式
AI魔法学院
2023-11-16
分享海报

前情提要:上回书说到,我们下载并本地部署了ComfyUI的,利用简单的节点操作完成了我们的第一个工作流(【ComfyUI】本地部署ComfyUI上手指南,我就喜欢连连看,并且在这一集(【ComfyUI】Blender+Stable Diffusion!少年啊,这盛世如你所愿!(附中文汉化插件))中完成了对ComfyUI界面的汉化。今天,我们就要好好研究一下,如何在comfyUI中搭建SDXL的工作流,以及对比一下comfyUIwebUI在生成图片效率上的差别。



虽然现在已经有很多大佬分享了自己的工作流,但我还是建议大家能自己先手搓一下,一是为了搞懂SD的工作原理;二是因为自己连的工作流出图的那一刻,这个成就感是无与伦比的。就好像开汽车时,手动挡和自动挡的区别。

下图就是我们之前做好的第一个文生图工作流,我们今天就在这个基础上进行改进,创造一个适合SDXL的双模型工作流。

IMG_257

首先看到“K采样器”这里,我们点击“右键”-“新建节点”-“采样器”,可以看到有两个选项,今天我们要使用的是“K采样器(高级)”。

相比较而言,高级采样器会多一些调整参数,这些参数是我们今天要用到的。

IMG_259

因为SDXL需要用到baserefiner两套模型,所以我们要将模型节点和采样器节点分别复制一份下来。

IMG_260
我们先来添加第一个base模型的采样器,参数设置如下:

·         添加噪波:enable确保打开,添加噪声。

·         步数:30迭代的总步数,比如我们设置为30步。

·         结束降噪步数:20这个代表的意思就是,前面20步将采用base模型进行运算。

·         返回噪波:enable。这样就可以将剩下的噪声传递给下一个refiner模型。

IMG_261

接着,将这个base的采样器传递到下一个refiner的采样器,参数设置如下:

·         添加噪波:disable这里关闭,因为是继承上一个采样器,所以不需要再添加噪声。

·         运行后操作:fixed相当于锁定随机种子的意思。

·         步数:30迭代的总步数,和之前保持一致。

·         开始降噪步数:20传递过来之后,是从第20步开始的。

·         结束降噪步数:30这个数字也可以保持默认,反正就是运行到结束。

·         返回噪波:disable。不用返回了,到这一步已经结束了。

IMG_262

但是,现在问题来了。如果我将refiner的模型连上提示词的话,第一个base模型的链接就会断开,怎么样才能让两个模型同时起作用呢?

IMG_263

我们来加入一个新节点,右键点击-【新建节点】-【实用工具】-Primitive元节点】。

这个节点很有意思,它连接谁,就会变成谁的属性。

在文本节点上单击右键,选择【转换文本为输入】。

此时,文本节点上就多了一个文本的连接点。

将元节点与文本节点相连接,这时元节点就变成了正向提示词的输入框。

IMG_268

同理,可以将负向提示词框也用元节点代替。

IMG_269

再复制出一套正负提示词节点,一套给base模型,一套给refiner模型。

IMG_270

然后,base模型的那一套输出给第一个采样器节点,refiner模型的那一套输出给第二个采样器节点。

IMG_271

最后,我们能可以输出两个图像节点,第一个链接base模型的vae,可以设置为预览图像;第二个链接一个VAE加载器的节点,加载sdxl自带的vae,设置为保存图像,也就是我们最终输出的图像。

IMG_272

使用这个工作流我们来跑一张sdxl模型的图片,设置好两个模型和提示词,点击生成。

IMG_273

在生成过程中,显存的占用率为7-9GB

IMG_274

从后台可以看到,每一次生成的耗时在13-15s之间。

IMG_275

我使用同样的参数来测试一下webUI
在生成过程中,显存的占用率为8-11GB

IMG_276

从后台可以看到,每一次生成的耗时在25s之间。

IMG_277

可以看出,comfyui在处理sdxl的模型是,确实要比webui更有效率一些。可能有些朋友已经被这个节点绕得有点晕了,但是还没结束。

接下来,我们再试一试sdxl的风格控制,添加【新建节点】-【实用工具】-SDXL Promot Styler Advanced】节点。

我们可以看到,在这个节点上有两套正负向提示词,分别对应着baserefiner

点击右键,分别增加gl作为输入点。

IMG_281

这样,我们就可以通过这一个节点将文本提示词分别赋予到baserefiner上,同时也把风格的切换加进了工作流当中。

IMG_282

点击这里的【style】就可以看到各种风格了,不过都是英文的。

IMG_283

我这里有一份中英文对照的表,大家也可以参考一下,一共105种风格,我会把它放在网盘里。

IMG_284

选一个黏土风格进行测试,尺寸设置为1280*768,用时15.11

IMG_285

IMG_286

同样的参数,我在webui里跑了一下,用时333秒。

IMG_287

总结

通过今天的搭建,我们已经掌握了sdxlcomfyui中的工作流程,下次再要进行生图,只需要将这个工作流打开就可以直接运行了。效率高、生图快,可能这就是comfyui最大的优势点吧。

出自:https://mp.weixin.qq.com/s/M-1WF5hvP1psfJti4MIB8w

© THE END

转载请联系本网站获得授权

投稿或版权问题请加微信:skillupvip