AI魔法学院客服
用AI为古诗词生成插画
本文介绍了如何使用AI技术为古诗词生成插画,主要流程是将古诗词翻译成英语作为AI提示词进行绘画,使用Stable Diffusion为例,并提供了准备工作和具体使用方法的详细步骤,包括下载和安装软件、准备大模型、安装翻译插件等,同时提供了两个大模型的下载链接。
 2024-05-16
收藏 复制地址分享海报

有朋友问,能用AI为古诗词生成插画吗?

答案是:当然可以。

背后的逻辑是先把古诗词(文言文)翻译成英语,再用英语作为AI的提示词去绘画。

Stable Diffusion为例,只需要一款提示词中文翻译插件,就可以实现古诗词生成插图的效果。

一、准备工作

1、下载和安装Stable Diffusion,推荐秋叶一键包。

现在这个一键包几乎是傻瓜式安装和使用。

 

2、下载和准备大模型

SDXL的大模型对自然语言理解比较好,因此推荐使用SDXL的大模型。

兼顾画质和速度,风景类的推荐“dreamshaperXL_sfwTurboDpmppSDE”,这个模型比较稳定,使用了Turbo技术,出图只需要几秒;人物类的推荐“国风4 GuoFeng4 XL”,顾名思义这个适合出古典人物。

(下载链接见文末)

3、安装翻译插件:sd-webui-prompt-all-in-one

 

在扩展-从网址安装-扩展的git仓库地址输入以下地址即可:

https://gitcode.net/ranting8323/sd-webui-prompt-all-in-one

二、如何使用

安装完翻译插件后,WebUI的提示词框会出现翻译录入框,如图所示:

 

出现此录入框后,不需要再在原提示词框输入文字了,只需要在这里输入汉字即可。

比如,我们输入“白日依山尽,黄河入海流”。

回车以后,这行汉字会自动转换成英语进入提示词框。

需要注意的是,这款插件使用了几个免费翻译接口,对古文翻译比较好的,推荐用阿里的接口。

 

点击齿轮图标,再点击API按钮即可弹出。

 

选择阿里翻译,然后点一下测试。测试通过或,点击保存。

1、白日依山尽,黄河入海流

阿里的翻译是:the white sun is on the mountain,yellow river into the sea,

Stable Diffusion画出来是:

 

这个画面有点绘画风格,为了让AI更好的理解,增加一个词:真实(real)。

变成了这样:

 

基本上是想象中的诗句了。

2、落霞与孤鹜齐飞,秋水共长天一色,照片质量,真实

阿里的翻译:

sunset and lone harrier qi fei,the autumn waters are the same color as the sky,photo quality,reality,

这个翻译有点问题,齐飞没翻译出来,直接放上了汉语拼音,果然免费版差点事,但这个词没有影响Stable Diffusion的发挥:

 

3、二川溶溶,流入宫墙。五步一楼,十步一阁;廊腰缦回,檐牙高啄;各抱地势,钩心斗角(阿房宫赋)。

阿里翻译成这样:2 sichuan dissolution,flow into the palace wall,5 step first floor,ten steps to 1 the pavilion; corridor waist back,eaves and teeth peck high; each embracing terrain,hook heart fighting angle

事实上,这段翻译还是有些问题的。依然不影响AI的理解。

 

把画幅横过来,再增加俯瞰的视角:wide angle lens,24mm,overlooking,aerial photography,

 

4、明月松间照,清泉石上流(照片质量,真实)。

阿里翻译:bright moon pine photo,qingquan stone upper stream,photo quality,reality,

 

换个风格,中国画风格,增加一个词组:chinese painting,

 

5、大江东去浪淘尽,中国画

阿里的翻译依然有点小问题:the great river east gone to the langtao,chinese painting,

AI的理解依然可以。

 

6、东风夜放花千树。更吹落,星如雨。宝马雕车香满路。凤箫声动,玉壶光转,一夜鱼龙舞

阿里翻译成功的把宝马翻译成了BMW... ...

flower thousand trees at night in the east wind,more blowing down,stars like rain,bmw carving car xiangman road,fengxiao sound,jade pot light turn,one night fish dragon dance,

 

这张图有一点点翻车。

三、下载

两个大模型下载:

dreamshaperXL_sfwTurboDpmppSDE

https://www.123pan.com/s/ueDeVv-AouI.html

国风4 GuoFeng4 XL

https://www.123pan.com/s/ueDeVv-9ouI.html

 

 

 

 

出自:https://mp.weixin.qq.com/s/w5WZ_3_nH3SbnqdbGUhqpg

本文档由网友提供,仅限参考学习,如有不妥或产生版权问题,请联系我们及时删除。 客服请加微信:skillupvip
评论
1 评论
宇宙快乐便利店2024/5/16 10:31:38
这文章挺有意思啊!用AI给古诗词生成插画,这个想法挺新颖的。不过,我想知道,有没有做过相关的用户调查或数据分析?比如,用这种方式生成的插画,用户接受度高不高?跟传统的手绘插画相比,哪个更受欢迎?还有,这种方法的准确率、效率怎么样?能不能大规模推广?另外,提到的Stable Diffusion这个工具,它在实际应用中的表现如何?有没有更详细的研究报告或者案例分享?感觉这方面还有很大的研究空间啊!
伴读
# 1. 一句话总结文章摘要
本文介绍了如何使用AI为古诗词生成插画,通过英文翻译作为提示词,结合Stable Diffusion等工具和插件,实现古诗词的插图创作。

# 2. 生成关键词和可能相关的关键词
关键词:AI生成插画、古诗词翻译、Stable Diffusion、提示词插件、大模型选择、翻译接口、插图风格、翻译准确性、AI理解、AI绘画技巧

可能相关
One More Thing
One More Thing again ...

找组织,加入AI魔法学院群