造梦师手记：SDXL迎来了AI插画师

据说，很多动漫站开始大规模下架AI漫画。

这类漫画数量惊人、质量低下。但随着技术的迭代，AI漫画的时代即将到来。

在C站，一个面向插画领域的SDXL大模型受到了热捧，它的名字叫：Anime Illust Diffusion XL

创作者在主页成：

模型介绍：
动漫插画设计XL，或称 AIDXL 是一款专用于生成二次元插图的模型。它内置了 200 种以上（随着更新越来越多）的插画风格，依靠特定触发词（见附录 A 部分）触发。
优点：构图大胆，没有摆拍感，主体突出，没有过多繁杂的细节，认识很多动漫人物（依靠角色日文名拼音触发，例如，“ayanami rei”对应角色“绫波丽”，“kamado nezuko”对应角色“祢豆子”）。
模型难度较大，不推荐入门者使用。
使用指南（将与时俱进）
推荐使用 ComfyUI 生成图像。
提示词书写：
如您所见，SDXL 的正负面提示词都分为 text_g 和 text_l 两个部分。假设您用于生成图像的描述提示词为 {main_prompt}（不包含质量描述语），质量提示词为 {quality_prompt}，负面提示次为 {neg_prompt}。则就经验来说，正面提示词的 text_g 处填写 “{main_prompt}”，text_l 处填写 “{quality_prompt}, {main_prompt}”；负面提示次的 text_g 和 text_l 都填写 “{neg_prompt}”。
另外，为了强调生成图像的风格，风格触发词的位置应尽量提前，例如， by xxx, 1girl, solo。
示例
质量提示词示例：a masterpiece with best quality, detailed 4k illustration
负面提示次示例：(low quality:1.4), bad anatomy, worst quality, ugly, disgusting, fused hands and fingers, bad hands, deformed hands and fingers, blurry, lowres, malformed, morbid, overexposure, too colorful and over-saturated, chromatic aberration, jagged
工作流
我在 Suggested Resources 内添加了 ComfyUI 的工作流 json 文件。
生成参数
如果您无法生成与预览图相似的图像，请参照以下指南。
建议图像总分辨率（总分辨率=高度x宽度）大于 1024x1024 且小于 1024x1024x1.5，否则生成的图像可能质量不高。此为经验法则，即生成图像的总分辨率应高于训练集图像的总分辨率，且同时低于训练集图像总分辨率的 1.5 倍，以防止模糊和畸变。例如，本模型在 1024x1024 总分辨率上训练，因此您最大可以生成 1024x1536（以 2:3 为例）分辨率的图像。
不进行“Clip Skip”操作。
采用 “dpmpp_2m” 采样器（sampler），搭配 “karras” 调度器（scheduler），该组合在 webui 里称为 DPM++ 2M Karras。在 8 CFG 上采样 50 步。
所有涉及图像宽度（width）和高度（height）的参数均应保持一致，即所有宽度一致，所有高度一致。
仅使用模型本身，而不使用精炼器（Refiner）。
使用基底模型 vae。
使用附录部分提供的触发词以活用风格化。在未使用风格化的情况下生成图像的质量将参差不齐。
使用 SDXL 支持的 VAE 模型、文本嵌入（embeddings）模型和 Lora 模型。注意：sd-vae-ft-mse-original 不是支持 SDXL 的 vae；EasyNegative、badhandv4 等负面文本嵌入也不是支持 SDXL 的 embeddings。
训练参数
以 SDXL1.0 为底模，使用大约 2w 张自己标注的图像在 5e-6 学习率，总长为 1 的余弦调度器上训练了约 100 期得到模型 A。之后在 2e-7 学习率，其余参数相同的条件下，训练得到模型 B。将模型 A 与 B 混合后得到 AIDXLv0.1 模型。
对比基于 SD1.5 的 AID
2023/08/08：AIDXL 使用与 AIDv2.10 完全相同的训练集进行训练，但表现优于 AIDv2.10。AIDXL 更聪明，能做到很多以 SD1.5 为底模型无法做到的事。它还能很好地区分不同概念，学习图像细节，处理对 SD1.5 来说难于登天的构图，几近完美地学习旧版 AID 无法完全掌握的风格。总的来说，它绝对拥有比 SD1.5 更高的上限，我会继续更新 AIDXL。

1、露西（赛博朋克2077）

提示词：

by yoneyama mai, by rolua, 1girl, lucy \(cyberpunk\), solo, parted lips, short hair, looking at viewer, upper body, bangs, multicolored hair, bodysuit, cyberpunk, black background, depth of field, blurry, stunning color, chromatic aberration, cinematic lighting and shadow, high contrast

这真是一部意难平的作品... ...

2、绫波丽

提示词：

by roitz, ayanami rei, 1girl, solo, plugsuit, red eyes, blue hair, short hair, red background, white bodysuit, holding, looking at viewer, bodysuit, upper body, breasts, hair between eyes, bangs, holding weapon, closed mouth

3、天使的翅膀

提示词：

by chi4,1boy,male focus,white hair,short hair,messy hair,grey eyes,angel wings,feathered wings,looking at viewer,upper body,expressionless,grey pants,plaid pants,grey hoodie,

4、女孩，和刀

提示词：

by dino,1girl,solo,cleavage cutout,black dress,red eyes,evil smile,evil grin,black hair,single hair bun,medium hair,bangs,(holding katana),long sleeves,looking at viewer,black background,black theme,temple,glowing,night,fighting stance,standing,outstretched arm,lighting,thunderstorm,close-up,rain,wet,katana behind back,

5、赛博少女

提示词：

by ask, nixeu 1girl, cyborg, long black hair turtleneck sleeveless sit, resting along the wall dark room, watercolor tubes wires

6、吸烟的女孩

提示词：

by fadingz, ( masterpiece, best quality:1.2),(mash kyrielight:1.1), pink hair, hair over one eye, purple eyes，smoke，cigarette on mouth，cold，proud，cocky，white shirt，upper body，smoking，A girl smoking a cigarette，The girl had a cigarette in her mouth，hiding hands

7、烟花、和服女孩

提示词：

by chi4,1girl,black hair,ponytail,short hair,hair ornament,purple eyes,cleavage,rope,shimenawa,yellow kimono,japanese clothes,hadanugi dousa,obi,hairpin,yoimiya \(genshin impact\),upper body,smile,open mouth,one eye closed,portrait,night,fireworks,

C站主页：

https://civitai.com/models/124189/anime-illust-diffusion-xl

网盘下载：

https://www.123pan.com/s/ueDeVv-HQKI.html 提取码:lgyh

出自：https://mp.weixin.qq.com/s/JloVuaKNnalF8YpSmqsYPA