中文对话大模型ELLE（BE Large Language Model Engine），基于BLOOM和LLAMA针对中文做了优化，模型调优仅使用由ChatGPT生成的数据，为中文指令提供更好的支持。

目前可知，已经开源了如下内容，日后会陆续更新

1.150万中文指令微调数据集

2.以Bloomz-7b1-mt（70亿参数）为基础，分别在20万，60万，100万，200万数据上进行指令微调后得到的模型Checkpoint。

3.以LLAMA-7b（70亿参数）为基础，分别在60万，200万数据上进行指令微调后得到的模型Checkpoint。

4.对以上模型进行量化后的轻量化模型，便于部署、推理。

我们这次介绍的是在centos 7.9环境下的的部署实践！

1、        下载模型文件

1）           安装git-lfs（默认git已安装）

yum install git-lfs

2）           初始化git-lfs

/usr/bin/git-lfs install

3）           下载模型bloomz-7b1-mt

git clone https://huggingface.co/bigscience/bloomz-7b1-mt

若出现错误：

参考 ：

https://www.cnblogs.com/qiumingcheng/p/12402719.html

git-lfs install --skip-smudge #跳过smudge

git clone #克隆github文件，大文件为LFS的一个地址

进入项目目录git-lfs pull #将大文件pull回来

git-lfs install --force #恢复smudge

2、        下载belle项目

Git clone https://github.com/LianjiaTech/BELLE.git

3、        安装虚拟环境（conda）

conda create --name env_belle python=3.8

4、        安装依赖包

进入BELLE/train

conda activate env_belle

pip install -r requirements.txt  -i https://pypi.tuna.tsinghua.edu.cn/simple

5、        启动WebUI

python interface.py --model_name_or_path /xxxx/bloomz-7b1-mt --ckpt_path /xxxx/bloomz-7b1-mt

Cpu：内存约占用27G

Gpu：int8模式下，显存约占用9G左右

注：直接使用原始模型，则model_name_or_path 和ckpt_path均指定原始模型路径即可

gpu:

6、        模型使用

http://ip:17860/