BlueLM项目是一个由vivo AI全球研究院开发的大规模预训练语言模型。该项目发布了7B基础(base)模型和7B对话(chat)模型,并开源了支持32K的长文本基础(base)模型和对话(chat)模型。
该项目的特点包括:
1. 更大量的优质数据:使用高质量语料库进行训练,包含中文、英文以及部分日韩数据,规模达到了2.6万亿的token数。
2. 更优的效果:BlueLM-7B-Chat模型在C-Eval和CMMLU上取得了领先结果,在同等尺寸的开源模型中具有较强的竞争力。
3. 长文本支持:BlueLM-7B-Base-32K和BlueLM-7B-Chat-32K模型支持32K长文本,在保持基础能力的同时,能够更好地理解更长的上下文。
4. 欢迎学术研究和商业应用:BlueLM系列模型欢迎开发者进行学术研究和商业应用。
通过该项目,开发者可以下载不同基座模型、对齐模型和量化模型,进行各种任务的预训练和微调。
该项目还进行了评测,使用OpenCompass进行了通用能力、数学能力和代码能力的测试,包括C-Eval、MMLU、CMMLU、GaoKao、AGIEval、BBH、GSM8K、MATH和HumanEval榜单。
该项目的目标是提供强大的语言模型,为学术研究和商业应用提供支持。
项目链接:https://github.com/vivo-ai-lab/BlueLM