在了解stable diffusion是怎么加载模型,并用线稿图转效果的,先要了解三个网站:
世界第一模型网:C站,civital
世界第二模型网:拥抱脸,hugging face
世界第三模型网,T站,吐司
![IMG_256](/Editor/ewebeditor/uploadfile/20240325105925872001.png)
![IMG_257](/Editor/ewebeditor/uploadfile/20240325105925421002.png)
![IMG_256](/Editor/ewebeditor/uploadfile/20240325105925671003.png)
首先看一下成果:这是一个白膜图,当然你手绘也可以,以下以专业的景观设计方向为参考:
![IMG_259](/Editor/ewebeditor/uploadfile/20240325105925605004.jpg)
然后两秒出图:
![IMG_260](/Editor/ewebeditor/uploadfile/20240325105925120005.png)
当然这里还没有怎么调节VAE,多次尝试滤镜将达到更好的效果。
这里将以世界三大模型网站的资源进行部分展示:
建筑领域:
![IMG_261](/Editor/ewebeditor/uploadfile/20240325105925841006.png)
![IMG_262](/Editor/ewebeditor/uploadfile/20240325105925390007.png)
鞋子领域:
![IMG_263](/Editor/ewebeditor/uploadfile/20240325105926943008.png)
![IMG_264](/Editor/ewebeditor/uploadfile/20240325105926166009.png)
衣服领域:
![IMG_265](/Editor/ewebeditor/uploadfile/20240325105926605010.png)
![IMG_266](/Editor/ewebeditor/uploadfile/20240325105926219011.png)
神奇领域:
![IMG_267](/Editor/ewebeditor/uploadfile/20240325105926686012.png)
![IMG_268](/Editor/ewebeditor/uploadfile/20240325105926750013.png)
等等,这些都是很多的模型,为什么要有这种模型呢,因为stable diffusion会根据这些基础模型来生成相似的图片。
进入正题:
![IMG_269](/Editor/ewebeditor/uploadfile/20240325105926767014.png)
在sd的左上角我们看到秋叶包中加载的暂时只有一个anything的模型,这是一个大体模型,就是很多风格集中在一起的模型,不论是景观、建筑、动漫人物还是什么,但是当你需要出独特的风格图时候就需要更优化的模型,你可以自己训练模型,也可以先去下载别人做好的模型,新手建议先从白嫖学起。
这里以anything和architecturerealmix(一个建筑模型)为例子进行出建筑图,前提是各种参数一样,提示词一致:
![IMG_270](/Editor/ewebeditor/uploadfile/20240325105926509015.png)
![IMG_271](/Editor/ewebeditor/uploadfile/20240325105926143016.png)
anything:
![](/Editor/ewebeditor/uploadfile/20240325105927689017.png)
architecturerealmix:
![IMG_273](/Editor/ewebeditor/uploadfile/20240325105927893018.png)
我们发现,特定的模型生成特定的风格会更好一些,这就是我们为什么去下载模型或者自己训练模型的原因。
模型类型:
我们要知道现在的集中主要流行模型。
1、
![IMG_274](/Editor/ewebeditor/uploadfile/20240325105927470019.png)
可以叫做大模型,也就是开篇左上角介绍的那个anything和architecturerealmix都是大模型。
2、
![IMG_275](/Editor/ewebeditor/uploadfile/20240325105927346020.png)
微调模型,这个对于整体影响比较轻微,但是我们需要有一些细节调节的话可以用这个。比如一个模型男孩看不出来是谁,你下载个柯南的模型,生成的就是柯南的图了。
3、
![IMG_276](/Editor/ewebeditor/uploadfile/20240325105927824021.png)
也可以叫做滤镜模型,就是说可以让你的图更为出彩。
4、
![IMG_277](/Editor/ewebeditor/uploadfile/20240325105927128022.png)
可以叫做训练模型,别的模型是训练好了的,这个是用来反向训练的,这个内容将之后做另外讲解。
此外,【5】DreamBooth模型、【6】LyCORIS模型都是与训练有关,这些将之后进行讲解。
安装路径:
上面小编有存放路径,也就是你从模型网下载好了模型之后,直接拖到上述存放路径的位置就好。这里以architecturerealmix为例子。
![IMG_278](/Editor/ewebeditor/uploadfile/20240325105927116023.png)
![IMG_279](/Editor/ewebeditor/uploadfile/20240325105927520024.png)
models
![IMG_280](/Editor/ewebeditor/uploadfile/20240325105928811025.png)
stable diffusion
![IMG_281](/Editor/ewebeditor/uploadfile/20240325105928794026.png)
粘贴下载好的模型architecturerealmix
之后重启sd-webui
这样就可以加载模型了。
加载好之后呢我们需要去往下寻找一个controlNet的插件打开之后就可以放入线稿图。
![IMG_282](/Editor/ewebeditor/uploadfile/20240325105928974027.png)
这里面小编用的是线稿
然后上文的那个图就是生成的。
这里有个参数需要注意一下。
![IMG_283](/Editor/ewebeditor/uploadfile/20240325105928551028.png)
控制权重,越大与原模型越像,越小想象力越大。新手建议0.7——0.75左右。
右面有个也有个controlNet模型,这个是源文件给大家里面带着的也需要大家自己安装一下:
![IMG_284](/Editor/ewebeditor/uploadfile/20240325105928381029.png)
![IMG_285](/Editor/ewebeditor/uploadfile/20240325105928987030.png)
全部复制
![IMG_286](/Editor/ewebeditor/uploadfile/20240325105928369031.png)
复制到这个文件夹内。
![IMG_287](/Editor/ewebeditor/uploadfile/20240325105928898032.png)
这样子再重启模型就可以啦。
之后就要用线稿转模型的时候记住要点击启用controlNet哦。
![IMG_288](/Editor/ewebeditor/uploadfile/20240325105928447033.png)
出自:https://mp.weixin.qq.com/s/LZ25Ofl05iBVup6NLrg8yw
本文档由网友提供,仅限参考学习,如有不妥或产生版权问题,请联系我们及时删除。
客服请加微信:skillupvip