Stable Diffusion 又是一个史诗级增强、出图效率暴增 5 倍
AI魔法学院
2024-01-12
分享海报

AI 绘画进化的速度真的真的是太快了!!最近爆火的新一代生成模型 LCM 席卷而来,可以大大的提升出图效率。

今儿我们就来一起尝尝鲜!

一 LCM 简介

IMG_256

LCM 全称 Latent Consistency Models(潜在一致性模型),是清华大学交叉信息科学研究院研发的一款生成模型。

它的特点是可以通过少量步骤推理合成高分辨率图像,使图像生成速度提升 2-5 倍,需要的算力也更少。

官方称 LCMs 是继 LDMs(Latent Diffusion Models 潜在扩散模型)之后的新一代生成模型。

如果之前有了解过 Stable Diffusion 的出图过程,我们应该知道 Stable Diffusion 的出图过程其实是从一张纯噪声图中去噪点,最后变成一张清晰的图片,这大概需要 20-50 步(也就是我们设置的步数)

而  LCM 强调的是不要再一步步迭代了, 直接追求“一步到位”。LCM 是在 Consistency Models 的基础上引入了 Lantent Space (潜空间),进一步压缩需要处理的数据量,从而实现超快速的图像推理合成。只需要 2-4 步即可完成!

可以先来看看效果图:

4 步效果图

IMG_257

2 步效果图

IMG_258

1 步效果图

IMG_259

二 尝鲜使用

目前有三种玩法,大家可以挑选使用

直接在线把玩(科学上网)

·         文生图:https://huggingface.co/spaces/SimianLuo/Latent_Consistency_Model

·         图生图:https://replicate.com/fofr/latent-consistency-model

基于 Dreamshaper-V7 大模型使用

目前官网只提供了  Dreamshaper-V7 和 LCM-SDXL 是 2 款可以 Stable Diffusion 中使用的模型。并且需要安装 LCM 插件。

·         插件地址:https://github.com/0xbitches/sd-webui-lcm

·         模型地址:https://huggingface.co/SimianLuo/LCM_Dreamshaper_v7/tree/main

·         lcm-sdxl: https://huggingface.co/latent-consistency/lcm-sdxl

基于 LCM-LoRA  使用

除了上述的大模型,官方还提供了一个 LoRa 模型,目前可以搭配 SD1.5 和 SDXL 的所有大模型使用,

目前可以在 ComfyUI 和 Fooocus 中使用 LCM-LoRA 模型

·         SD1.5 lora: https://huggingface.co/latent-consistency/lcm-lora-sdv1-5

·         sdxl lora: https://huggingface.co/latent-consistency/lcm-lora-sdxl

在使用了 LCM 后整个的出图效果确实大大的提升了,但是质量来看还是会差那么一些。

目前尝鲜,还是可以玩玩的,后续 LCM 有了更多的增强我们在进一步来分享!

出自:https://mp.weixin.qq.com/s/-eBJndDRNOjvjJMeN2UZEw

© THE END

转载请联系本网站获得授权

投稿或版权问题请加微信:skillupvip