深入浅出学习Stable diffusion之线稿转效果图
AI魔法学院
2024-03-25
分享海报

在了解stable diffusion是怎么加载模型,并用线稿图转效果的,先要了解三个网站:

世界第一模型网:C站,civital

世界第二模型网:拥抱脸,hugging face

世界第三模型网,T站,吐司

IMG_256

IMG_257

IMG_256

首先看一下成果:这是一个白膜图,当然你手绘也可以,以下以专业的景观设计方向为参考:

IMG_259

然后两秒出图:

IMG_260

当然这里还没有怎么调节VAE,多次尝试滤镜将达到更好的效果。

这里将以世界三大模型网站的资源进行部分展示:

建筑领域:

IMG_261

IMG_262

鞋子领域:

IMG_263

IMG_264

衣服领域:

IMG_265

IMG_266

神奇领域:

IMG_267

IMG_268

等等,这些都是很多的模型,为什么要有这种模型呢,因为stable diffusion会根据这些基础模型来生成相似的图片。

进入正题:

IMG_269

sd的左上角我们看到秋叶包中加载的暂时只有一个anything的模型,这是一个大体模型,就是很多风格集中在一起的模型,不论是景观、建筑、动漫人物还是什么,但是当你需要出独特的风格图时候就需要更优化的模型,你可以自己训练模型,也可以先去下载别人做好的模型,新手建议先从白嫖学起。

这里以anythingarchitecturerealmix(一个建筑模型)为例子进行出建筑图,前提是各种参数一样,提示词一致:

IMG_270

IMG_271

anything:

architecturerealmix

IMG_273

我们发现,特定的模型生成特定的风格会更好一些,这就是我们为什么去下载模型或者自己训练模型的原因。

模型类型:

我们要知道现在的集中主要流行模型。

1

IMG_274

可以叫做大模型,也就是开篇左上角介绍的那个anythingarchitecturerealmix都是大模型。

2

IMG_275

微调模型,这个对于整体影响比较轻微,但是我们需要有一些细节调节的话可以用这个。比如一个模型男孩看不出来是谁,你下载个柯南的模型,生成的就是柯南的图了。

3

IMG_276

也可以叫做滤镜模型,就是说可以让你的图更为出彩。

4

IMG_277

可以叫做训练模型,别的模型是训练好了的,这个是用来反向训练的,这个内容将之后做另外讲解。

此外,【5DreamBooth模型、【6LyCORIS模型都是与训练有关,这些将之后进行讲解。

安装路径:

上面小编有存放路径,也就是你从模型网下载好了模型之后,直接拖到上述存放路径的位置就好。这里以architecturerealmix为例子。

IMG_278

IMG_279

models

IMG_280

stable diffusion

IMG_281

粘贴下载好的模型architecturerealmix

之后重启sd-webui

这样就可以加载模型了。

加载好之后呢我们需要去往下寻找一个controlNet的插件打开之后就可以放入线稿图。

IMG_282

这里面小编用的是线稿

然后上文的那个图就是生成的。

这里有个参数需要注意一下。

IMG_283

控制权重,越大与原模型越像,越小想象力越大。新手建议0.7——0.75左右。

右面有个也有个controlNet模型,这个是源文件给大家里面带着的也需要大家自己安装一下:

IMG_284

IMG_285

全部复制

IMG_286

复制到这个文件夹内。

IMG_287

这样子再重启模型就可以啦。

之后就要用线稿转模型的时候记住要点击启用controlNet哦。

IMG_288

出自:https://mp.weixin.qq.com/s/LZ25Ofl05iBVup6NLrg8yw

© THE END

转载请联系本网站获得授权

投稿或版权问题请加微信:skillupvip