AI Comic Factory:AI(连环)漫画生成器
AI魔法学院
2023-09-21
分享海报

项目简介

这份内容介绍了AI Comic Factory项目的一些关键信息。首先,该项目是开源的,但需要多个组件来运行,包括前端、后端、LLM(大型语言模型)、SDXL等。在运行项目之前,需要配置一些变量,如LLM_ENGINEHF_API_TOKEN等。项目目前使用Llama-2 70b作为LLM,有三种选项:使用Inference API模型、使用Inference Endpoint URL、或自行修改代码以使用其他LLM系统。此外,还提到了Rendering API用于生成面板图像,以及部署VideoChain和使用其他SDXL API的选项。作者还提到可能会在未来简化项目,添加对OpenAIReplicate的支持

在家运行项目

首先,我想强调一切都是开源的(请参阅此处、此处、此处、此处)。

然而,该项目并不是一个可以复制并立即运行的整体空间:它需要前端、后端、LLMSDXL 等各种组件来运行。

如果您尝试复制该项目,您会发现它需要一些变量:

LLM_ENGINE:可以是“INFERENCE_API”或“INFERENCE_ENDPOINT

HF_API_TOKEN:如果您决定使用推理 API 模型或自定义推理端点,则这是必需的

HF_INFERENCE_ENDPOINT_URL:如果您决定使用自定义推理端点,则必需

RENDERING_ENGINE:目前只能是“VIDEOCHAIN”,除非您编写自定义解决方案

VIDEOCHAIN_API_URLVideoChain API 服务器的 url

VIDEOCHAIN_API_TOKEN:访问 VideoChain API 服务器的秘密令牌

请阅读.env默认配置文件以获取更多信息。要在本地自定义变量,您应该创建一个.env.local(不要提交此文件,因为它将包含您的机密)。

-> 如果您打算使用本地、云托管和/或专有模型运行它,您将需要编写代码👨‍💻

LLM API(大型语言模型)

目前,AI Comic Factory 通过推理端点使用 Llama-2 70b

您有三个选择:

选项 1:使用推理 API 模型

这是最近添加的一个新选项,您可以在其中使用 Hugging Face Hub 中的模型之一。默认情况下,我们建议使用 CodeLlama 34b,因为它会提供比 7b 模型更好的结果。

要激活它,请创建一个.env.local配置文件:

LLM_ENGINE="INFERENCE_API"
HF_API_TOKEN="Your Hugging Face token"
# codellama/CodeLlama-7b-hf" is used by default, but you can change this# note: You should use a model able to generate JSON responses,# so it is storngly suggested to use at least the 34b modelHF_INFERENCE_API_MODEL="codellama/CodeLlama-7b-hf"

选项 2:使用推理端点 URL

如果您想在 Hugging Face Inference Endpoint 服务上运行的私有 LLM 上运行 AI Comic Factory,请创建一个.env.local配置文件:

LLM_ENGINE="INFERENCE_ENDPOINT"
HF_API_TOKEN="Your Hugging Face token"
HF_INFERENCE_ENDPOINT_URL="path to your inference endpoint url"

要在本地运行这种 LLM,您可以使用 TGI(请阅读这篇文章以获取有关许可的更多信息)。

选项 3:分叉并修改代码以使用不同的 LLM 系统

另一种选择可能是完全禁用 LLM 并将其替换为另一个 LLM 协议和/或提供者(例如 OpenAIReplicate),或人工生成的故事(通过返回模拟或静态数据)。

笔记

我可能会修改 AI Comic Factory 以使其将来更容易(例如添加对 OpenAI Replicate 的支持)

渲染API

API用于生成面板图像。这是我为 Hugging Face 的各个项目创建的 API

我还没有为它编写文档,但基本上它是其他现有 API 的“只是一个包装器™”:

@hysts hysts/SD-XL 空间

以及其他用于制作视频、添加音频等的 API... AI 漫画工厂不需要它们

选项 1:自行部署 VideoChain

您必须克隆源代码

不幸的是,我还没有时间为 VideoChain 编写文档。(当我这样做时,我将更新此文档以指向 VideoChain 的自述文件)

选项 2:使用另一个 SDXL API

如果您分叉该项目,您将能够修改代码以使用您选择的稳定扩散技术(本地、开源、您的自定义 HF 空间等)

笔记

我可能会修改AI漫画工厂以使其将来更容易(例如添加对复制的支持)

项目链接

https://github.com/jbilcke-hf/ai-comic-factory

出自:https://mp.weixin.qq.com/s/6bcV5kcAarUjtHd7YTvkAQ

© THE END

转载请联系本网站获得授权

投稿或版权问题请加微信:skillupvip