SD入门教程一:Stable Diffusion 基础(技术篇)
AI魔法学院
2024-04-09
分享海报

在开篇的时候就大致讲了SD和VAE,那么今天我们具象化地再来讲讲Stable Diffusion(稳定扩散)。

严格说来它是一个由几个组件(模型)构成的系统,而非单独的一个模型。我以最常见的文生图为例,解释下 Stable Diffusion 的整体架构和工作原理。


 

!如何工作!


 

当我们输入一句prompt 后,比如“a dog,standing on the grass,”,Stable Diffusion 会生成一张狗子站在草地的图,看似只有一步:

 

但实际上,整个生成的过程经过三个大的步骤。我会先概括地介绍这三大步骤分别是什么,先让大家对 Stable Diffusion 有一个整体的理解,然后再细讲里面的细节:

 

 

1. 

首先,用户输入的 Prompt 会被一个叫Text Encoder(文本编译器) 的东西编译成一个个的词特征向量。此步骤下会输出 77 个等长的向量,每个向量包含 768 个维度。各位同学可以简单将其理解为「将文本转化为机器能识别的多组数字信息」。

2. 

接着,这些特征向量会和一张随机图(可以简单理解这是一张老式电视机的雪花图,或充满信息噪声的图),一起放到 Image Information Creator 里。在这一步,机器会将这些特征向量和随机图先转化到一个Latent Space(潜空间)里,然后根据这些特征向量,将随机图「降噪」为一个「中间产物」。你可以简单理解,此时的「中间产物」是人类看不懂的「图」,是一堆数字信息,但此时这个中间产物所呈现的信息已经是一只狗站在草地上了。

3. 

最后,这个中间产物会被Image Decoder(图片解码器)解码成一张真正的图片。

 

如果将以上的三大步骤可视化的话,会是这样:

 

总结一下,简单理解,就是用户输入了一段 Prompt 指令,机器会按照这个指令,在一个潜空间里,将一张随机图降噪为一张符合指令的图片。整个过程,与其说 AI 是在「生成」图片,不如称其为「雕刻」更合适。

所有图片都存在了一张充满噪点的图片里,AI 只是把不要的部分去掉了。所以如果你用同样是 Diffusion Model 搭建的 Midjourney 话,你会看到如下的过程,首先是一张模糊甚至黑色的图片,然后图片会一步步变得越来越清晰,这就是我前面所说的「降噪」或者「雕刻」的过程:

你可能好奇,为何前面的解释里,Stable Diffusion 最后是直接出图,而不像 Midjourney 那样?实际上,在第二步中,机器会分多次对图进行「降噪」,只是没有将每一次的结果用 Image Decoder 解码成图片,而是只将最后一次结果解码成照片。所以你使用 Stable Diffusion 的时候才不会像 Midjourney 那样看到生成的过程。


 

Image Information Creator!


 

既然说到降噪,我们就来展开讲讲整个「降噪」的过程。

首先整个降噪的过程会在一个 Latent Space(潜空间)里进行,然后会进行多 Steps(步)的降噪,你可以对这个 Steps 进行调整,一般越多图片质量也会好,但时间也会越久。当然这个也跟模型有关,Stable Diffusion XL Turbo 就能 1 步出图,耗时不到 1 秒,而且生成的图片质量还很不错。如果我们将这一步过程可视化,类似是这样的(为了更好地解释,我将下方黑色的块都描述成图,本质上它不是图,只是一堆与图像相关的数据), Denoise 里又发生了什么呢?下图是第一个 Denoise 过程的可视化:

 

上图看上去很复杂,但不要恐惧,我们只要懂加减乘除就能理解这张图:

· 

首先,在 Denoise 里有一个 Noise Predictor(噪音预测器),顾名思义,它就是能预测出随机图里包含什么噪音的模型。除了输入随机图和 Prompt 的词特征向量外,还需要输入当前的 Step 数。虽然在上面的可视化流程中,你会看到很多个 Denoise,但实际程序运行的是同一个 Denoise,所以需要将 Step 告知 Noise Predictor 让其知道正在进行哪一步的预测。

· 

然后,我们先来看橙色的线,Noise Predictor 会使用随机图(比如一张4 X 4的图)和 Prompt 的词特征向量预测出一张噪声图 B。注意,这里不是根据预测输出实际的图,而是一张噪声图。换句话来说,Noise Predictor 是根据词向量预测这张随机图里有哪些不需要的噪声。如果拿前面的雕刻的例子来类比,它输出的是雕刻雕像所不需要的废料。与此同时,Noise Predictor 还会不使用 Prompt 的词特征向量预测出一张噪音图 C(也就是图中的蓝色线)。

· 

接着,Denoise 会拿噪音图 B 和 C 相减得出图 D。我们用简单的数学解释下这张图是啥。首先,图 B 是用 Prompt 加随机图预测的噪声,简单理解,就包含了「根据 Prompt 预测的噪声」+「根据随机图预测的噪声」,而 C 则是「根据随机图预测的噪声」,B 减 C 就等于「根据 Prompt 预测的噪声」。

· 

再之后,Denoise 会将 C 噪声放大,一般就是会乘以一个系数,这个系数在一些 Stable Diffusion 里会以CFG、CFG Scale 或者 Guidance Scale表示。接着再那这张放大后的图与噪声图 C 相加,得到图 E。这样做的原因是为了提高图片生成的准确性,所以通过乘以一个系数,来刻意提高「根据 Prompt 预测的噪声」的权重。如果没有这一步,生成的图片就跟 Prompt 没那么相关了。这个方法也被称为 Classifier Free Guidance(无分类引导法)。

· 

最后,Denoise 会将图 A 减去图 E,得出一张新的图。也就是我前面提到的「雕刻」的过程,去掉不需要的噪声。

· 

如果你有用过 Stable Diffusion 的工具,你会发现 Prompt 的输入框有两个,一个是正向的,一个负向的。那负向的 Prompt 是如何生效的呢?用上述的数学方法,简单理解,当输入负向的 Prompt 的时候,也会生成一张噪声图 B2,但此时我们会用正向的 Prompt 生成的噪声图 B1 减去 B2 再减去 C 得出 D,那就意味着最终生成的图片会更加远离 B2,因为减掉了更多与 B2 相关的噪声。


 

Image Decoder!


 

接着我们再来聊下 Latent Space(潜空间)。我在学习这个概念的时候,最大的疑惑就是为何要在潜空间里进行?而不是直接用图片进行去噪?

要解答这个问题,首先要理解什么是潜空间?

Latent Space(潜空间):潜在空间是指在机器学习和深度学习中,用于表示数据的低维空间。它是通过对原始数据进行编码和降维得到的一组潜在变量。潜在空间的维度通常比原始数据的维度低,因此可以提取出数据中最重要的特征和结构。

看上去很复杂,简单理解就是潜空间会将图片编码成一堆数字,同时对这些数字进行压缩。让我们通过可视化的方式看看这个过程:

 

图片会先被一个 Image Encoder 编码成一组数据,并被压缩,如果用像素的角度来衡量这个数据压缩的效果,原图可能是一张 512 X 512 的图,压缩后变成了 64 X 64,数据极大地减少了,最后再使用 Image Decoder 还原即可。而这个 Encoder 加 Decoder 的组件,也被称为 Variational Auto Encoder(变分自编码器)简称 VAE 。所以这个 Image Decoder 在一些产品里,也叫 VAE Decoder。

那使用这个技术有什么好处和坏处呢?

好处:首先当然是效率提升了非常多。使用 VAE 后,即使消费级显卡 GPU 也能以相对较快的速度,完成降噪运算。同时训练模型的时间也会更短。另外,潜在空间的维度通常比原始图像的维度低得多,这意味着它可以更有效地表示图像的特征。通过在潜在空间中进行操作和插值,可以对图像进行更精细的控制和编辑。这使得在生成图像时可以更好地控制图像的细节和风格,从而提高生成图像的质量和逼真度。

坏处:经过编码,然后再将数据还原会导致一些数据丢失。而且加上潜在空间的维度较低,它可能无法完全捕捉原始数据中的所有细节和特征。最终导致还原的图片比较奇怪。

为何 Stable Diffusion 生成的图片中,文字一般都很诡异?因为在这个过程中,一方面是文字的一些细节特征丢失了。另一方面,在预测噪音的时候,文字的预测与图像的预测相比,不那么连贯。举个例子,预测狗的特征是相对简单的,因为狗大概率有 2 个眼睛,眼睛下面是鼻子,它是连贯的。


 

Text Encoder!


 

在最前面的流程中,我提到过,Text Encoder(文本编译器)会将你输入的 Prompt 编译成一个个的词特征向量。此步骤下会输出 77 个等长的向量,每个向量包含 768 个维度。这些向量里到底有什么用呢?

另外,还有一个更有趣的问题,当我们在 Prompt 里只输入 Dog,并没有在 Prompt 里加上狗的品种,那为何最后输出的狗是“约克夏”呢?要回答这些问题,我们需要先理解 Text Encoder 的实现。

目前 Stable Diffusion 常用的 Text Encoder 用的是 OpenAI 开源(opens in a new tab)的 CLIP 模型,全称为 Contrastive Language Image Pre-training(对比语言图像预训练)。我们照例先画个图:

 

首先,这个 CLIP 也有一个 Text Encoder,会将文本转化为一个特征向量,然后它还有一个 Image Encoder 会将图片也转成各种特征向量。如果这两个向量越近,意味着这个描述,越接近图片的内容;反之越远,则越不相关。

OpenAI 使用了 4 亿组图片文本对,对此模型进行了训练,最后训练出来的 CLIP 模型效果如下图所示。当我们输入图片的描述时,CLIP 能判断出与这个描述最相近的图片是哪张。比如下图中第四行,描述是「一张约克夏狗的照片」,它与纵向第四张图最相关,相似度达到 0.31,与第一张书本的截图相似度只有 0.12。

 

我们回到 Stable Diffusion,在 Stable Diffusion 里,我们只使用了 CLIP 的 Text Encoder 的部分,因为它能将文本转化成对应文本的特征向量,并且这些特征向量与现实存在的图片会有相关性。

为何当我们输入 Dog 的时候,生成的图大概率是一只约克夏?因为 Text Encoder 将 Dog转化成 77 个等长的向量 Embedding 里会包含与 Dog 相关的一些特征和含义:

· 

形态特征:向量表示可能会捕捉到 Dog 的形态特征,比如它的体型、头部的形状、四肢的位置等。这些特征可以帮助区分 Dog 与其他动物或物体。

· 

视觉特征:向量表示可能会包含 Dog 的视觉特征,比如它的颜色、毛发、眼睛的形状等。这些特征可以帮助识别 Dog 的外观特点。

· 

语义含义:向量表示可能会包含与 Dog 相关的语义含义,比如它是一种宠物、一种独立的动物、与人类有亲密关系等。这些含义可以帮助理解 Dog 在人类文化和社会中的角色和意义。

 

注意:因为模型有些地方具有不可解释性,所以实际上这些向量不一定包含这些特征,主要是为了更好地解释,所以我举了几个比较具象的例子。

最后,因为在 Stable Diffusion 里,只用到了 CLIP 的 Text Encoder 的部分,所以在一些产品里,这个又称为 CLIP Text Encoder,或者 CLIP Text Encode。

为何使用 Stable Diffusion 或者 Midjourney 时,输入的 Prompt 不需要在意语法?以及大小写不明感呢?因为这些 Prompt 都会被 Text Encoder 转成特征向量,语法、大小写被转成特征向量后,都会是一串数字了,在没有对模型进行调整的情况下,这些都不太敏感了。


 

!总结!


 

感谢你看完这么长的 Stable Diffusion 基础(技术篇),在了解了这些技术之后,为我们下一篇该怎么写提示词,选择模型和采样器打好了基础。

 

 

 

 

出自:https://mp.weixin.qq.com/s/o0TjY-PHtCiZBBPk5kqfcA

© THE END

转载请联系本网站获得授权

投稿或版权问题请加微信:skillupvip