项目简介
这份内容介绍了AI Comic Factory项目的一些关键信息。首先,该项目是开源的,但需要多个组件来运行,包括前端、后端、LLM(大型语言模型)、SDXL等。在运行项目之前,需要配置一些变量,如LLM_ENGINE、HF_API_TOKEN等。项目目前使用Llama-2 70b作为LLM,有三种选项:使用Inference API模型、使用Inference Endpoint URL、或自行修改代码以使用其他LLM系统。此外,还提到了Rendering API用于生成面板图像,以及部署VideoChain和使用其他SDXL API的选项。作者还提到可能会在未来简化项目,添加对OpenAI或Replicate的支持
在家运行项目
首先,我想强调一切都是开源的(请参阅此处、此处、此处、此处)。
然而,该项目并不是一个可以复制并立即运行的整体空间:它需要前端、后端、LLM、SDXL 等各种组件来运行。
如果您尝试复制该项目,您会发现它需要一些变量:
LLM_ENGINE
:可以是“INFERENCE_API”或“INFERENCE_ENDPOINT”
HF_API_TOKEN
:如果您决定使用推理 API 模型或自定义推理端点,则这是必需的
HF_INFERENCE_ENDPOINT_URL
:如果您决定使用自定义推理端点,则必需
RENDERING_ENGINE
:目前只能是“VIDEOCHAIN”,除非您编写自定义解决方案
VIDEOCHAIN_API_URL
:VideoChain API 服务器的 url
VIDEOCHAIN_API_TOKEN
:访问 VideoChain API 服务器的秘密令牌
请阅读 .env
默认配置文件以获取更多信息。要在本地自定义变量,您应该创建一个 .env.local
(不要提交此文件,因为它将包含您的机密)。
-> 如果您打算使用本地、云托管和/或专有模型运行它,您将需要编写代码👨💻。
LLM API(大型语言模型)
目前,AI Comic Factory 通过推理端点使用 Llama-2 70b。
您有三个选择:
选项 1:使用推理 API 模型
这是最近添加的一个新选项,您可以在其中使用
Hugging Face Hub 中的模型之一。默认情况下,我们建议使用 CodeLlama 34b,因为它会提供比 7b 模型更好的结果。
要激活它,请创建一个 .env.local
配置文件:
LLM_ENGINE="INFERENCE_API"
HF_API_TOKEN="Your Hugging Face token"
# codellama/CodeLlama-7b-hf" is used by default, but you can change this# note: You should use a model able to generate JSON responses,# so it is storngly suggested to use at least the 34b modelHF_INFERENCE_API_MODEL="codellama/CodeLlama-7b-hf"
选项 2:使用推理端点 URL
如果您想在 Hugging Face
Inference Endpoint 服务上运行的私有 LLM 上运行 AI Comic Factory,请创建一个 .env.local
配置文件:
LLM_ENGINE="INFERENCE_ENDPOINT"
HF_API_TOKEN="Your Hugging Face token"
HF_INFERENCE_ENDPOINT_URL="path to your inference endpoint url"
要在本地运行这种 LLM,您可以使用 TGI(请阅读这篇文章以获取有关许可的更多信息)。
选项 3:分叉并修改代码以使用不同的 LLM 系统
另一种选择可能是完全禁用 LLM 并将其替换为另一个 LLM 协议和/或提供者(例如
OpenAI、Replicate),或人工生成的故事(通过返回模拟或静态数据)。
笔记
我可能会修改 AI Comic Factory 以使其将来更容易(例如添加对 OpenAI 或 Replicate 的支持)
渲染API
该API用于生成面板图像。这是我为 Hugging Face 的各个项目创建的 API。
我还没有为它编写文档,但基本上它是其他现有
API 的“只是一个包装器™”:
@hysts
的 hysts/SD-XL 空间
以及其他用于制作视频、添加音频等的 API...但 AI 漫画工厂不需要它们
选项 1:自行部署 VideoChain
您必须克隆源代码
不幸的是,我还没有时间为 VideoChain 编写文档。(当我这样做时,我将更新此文档以指向 VideoChain 的自述文件)
选项 2:使用另一个 SDXL API
如果您分叉该项目,您将能够修改代码以使用您选择的稳定扩散技术(本地、开源、您的自定义 HF 空间等)
笔记
我可能会修改AI漫画工厂以使其将来更容易(例如添加对复制的支持)
项目链接
https://github.com/jbilcke-hf/ai-comic-factory
出自:https://mp.weixin.qq.com/s/6bcV5kcAarUjtHd7YTvkAQ