项目简介

这份内容介绍了AI Comic Factory项目的一些关键信息。首先，该项目是开源的，但需要多个组件来运行，包括前端、后端、LLM（大型语言模型）、SDXL等。在运行项目之前，需要配置一些变量，如LLM_ENGINE、HF_API_TOKEN等。项目目前使用Llama-2 70b作为LLM，有三种选项：使用Inference API模型、使用Inference Endpoint URL、或自行修改代码以使用其他LLM系统。此外，还提到了Rendering API用于生成面板图像，以及部署VideoChain和使用其他SDXL API的选项。作者还提到可能会在未来简化项目，添加对OpenAI或Replicate的支持

在家运行项目

首先，我想强调一切都是开源的（请参阅此处、此处、此处、此处）。

然而，该项目并不是一个可以复制并立即运行的整体空间：它需要前端、后端、LLM、SDXL 等各种组件来运行。

如果您尝试复制该项目，您会发现它需要一些变量：

LLM_ENGINE ：可以是“INFERENCE_API”或“INFERENCE_ENDPOINT”

HF_API_TOKEN ：如果您决定使用推理 API 模型或自定义推理端点，则这是必需的

HF_INFERENCE_ENDPOINT_URL ：如果您决定使用自定义推理端点，则必需

RENDERING_ENGINE ：目前只能是“VIDEOCHAIN”，除非您编写自定义解决方案

VIDEOCHAIN_API_URL ：VideoChain API 服务器的 url

VIDEOCHAIN_API_TOKEN ：访问 VideoChain API 服务器的秘密令牌

请阅读 .env 默认配置文件以获取更多信息。要在本地自定义变量，您应该创建一个 .env.local （不要提交此文件，因为它将包含您的机密）。

-> 如果您打算使用本地、云托管和/或专有模型运行它，您将需要编写代码👨‍💻。

LLM API（大型语言模型）

目前，AI Comic Factory 通过推理端点使用 Llama-2 70b。

您有三个选择：

选项 1：使用推理 API 模型

这是最近添加的一个新选项，您可以在其中使用 Hugging Face Hub 中的模型之一。默认情况下，我们建议使用 CodeLlama 34b，因为它会提供比 7b 模型更好的结果。

要激活它，请创建一个 .env.local 配置文件：

LLM_ENGINE="INFERENCE_API"

HF_API_TOKEN="Your Hugging Face token"

# codellama/CodeLlama-7b-hf" is used by default, but you can change this# note: You should use a model able to generate JSON responses,# so it is storngly suggested to use at least the 34b modelHF_INFERENCE_API_MODEL="codellama/CodeLlama-7b-hf"

选项 2：使用推理端点 URL

如果您想在 Hugging Face Inference Endpoint 服务上运行的私有 LLM 上运行 AI Comic Factory，请创建一个 .env.local 配置文件：

LLM_ENGINE="INFERENCE_ENDPOINT"

HF_API_TOKEN="Your Hugging Face token"

HF_INFERENCE_ENDPOINT_URL="path to your inference endpoint url"

要在本地运行这种 LLM，您可以使用 TGI（请阅读这篇文章以获取有关许可的更多信息）。

选项 3：分叉并修改代码以使用不同的 LLM 系统

另一种选择可能是完全禁用 LLM 并将其替换为另一个 LLM 协议和/或提供者（例如 OpenAI、Replicate），或人工生成的故事（通过返回模拟或静态数据）。

笔记

我可能会修改 AI Comic Factory 以使其将来更容易（例如添加对 OpenAI 或 Replicate 的支持）

渲染API

该API用于生成面板图像。这是我为 Hugging Face 的各个项目创建的 API。

我还没有为它编写文档，但基本上它是其他现有 API 的“只是一个包装器™”：

@hysts 的 hysts/SD-XL 空间

以及其他用于制作视频、添加音频等的 API...但 AI 漫画工厂不需要它们

选项 1：自行部署 VideoChain

您必须克隆源代码

不幸的是，我还没有时间为 VideoChain 编写文档。（当我这样做时，我将更新此文档以指向 VideoChain 的自述文件）

选项 2：使用另一个 SDXL API

如果您分叉该项目，您将能够修改代码以使用您选择的稳定扩散技术（本地、开源、您的自定义 HF 空间等）

笔记

我可能会修改AI漫画工厂以使其将来更容易（例如添加对复制的支持）

项目链接

https://github.com/jbilcke-hf/ai-comic-factory

出自：https://mp.weixin.qq.com/s/6bcV5kcAarUjtHd7YTvkAQ