出自：https://zhuanlan.zhihu.com/p/634608422

• 目前已囊括19个大模型，覆盖chatgpt、百度文心一言、阿里通义千问、讯飞星火、360智脑、minimax、tigerbot等商用模型， 以及belle、chatglm6b、ziya、guanaco、Phoenix、linly、MOSS、AquilaChat等开源大模型。
• 模型来源涉及国内外大厂、大模型创业公司、高校研究机构。
• 支持多维度能力评测，包括分类能力、信息抽取能力、阅读理解能力、表格问答能力。
• 不仅提供能力评分排行榜，也提供所有模型的原始输出结果！有兴趣的朋友可以自己打分、自己排行！

最近更新

• [2023/7/2] 发布v1.3版本评测榜单
• 新增3个大模型：360智脑、MOSS-003-SFT、AquilaChat-7B
• 讯飞星火更新为最新的v1.5模型
• [2023/6/17] 发布v1.2版本评测榜单
• 新增2个大模型：tigetbot-7b官网、linly-chatflow-13b
• 说明做评测榜单的初衷
• [2023/6/10] 发布v1.1版本评测榜单
• 新增3个大模型：minimax、guanaco、Phoenix-7b
• 新增表格问答评测维度，作为阅读理解能力的细分项
• [2023/6/4] 发布v1版本评测榜单

⚓TODO

• 将更多大模型加入评测：gpt4、Claude、谷歌Bard、falcon、羊驼、百川、wizardLM等等
• 增加开源大模型的授权协议，注明能否商用
• 引入更多维度的评测：数学能力、代码能力、开放域问答、多轮对话、头脑风暴、翻译……
• 评测维度更细分，比如信息抽取可以细分时间实体抽取能力、地址实体抽取能力……
• 海纳百川，整合各类评测榜单，扩充细分领域榜单（比如教育领域、医疗领域）
• 加入更多评测数据，使得评测得分越来越有说服力

大模型基本信息

更详细的大模型信息，见https://github.com/jeinlee1991/chinese-llm-benchmark

排行榜

1 综合能力排行榜

综合能力得分为分类能力、信息抽取能力、阅读理解能力三者得分的平均值。

2 分类能力排行榜

3 信息抽取能力排行榜

4 阅读理解能力排行榜

4.1 表格问答排行榜（阅读理解细分能力）

表格问答作为阅读理解细分能力，单独列出，但不计入综合能力评分。 专门考查大模型对表格的理解分析能力，常用于数据分析。

各项能力评分

评分方法：从各个维度给大模型打分，每个维度都对应一个评测数据集，包含若干道题。 每道题依据大模型回复质量给1~5分，将评测集内所有题的得分累加并归一化为100分制，即作为最终得分。

原始评测数据

见本项目github：

GitHub - jeinlee1991/chinese-llm-benchmark: 中文大模型能力评测榜单：覆盖百度文心一言、chatgpt、阿里通义千问、讯飞星火、belle / chatglm6b 等开源大模型，多维度能力评测。不仅提供能力评分排行榜，也提供所有模型的原始输出结果！​github.com/jeinlee1991/chinese-llm-benchmark

评测样本示例

大模型输出结果示例

为什么做榜单？

• 大模型百花齐放，也参差不齐。不少媒体的宣传往往夸大其词，避重就轻，容易混淆视听；而某些公司为了PR，也过分标榜自己大模型的能力，动不动就“达到chatgpt水平”，动不动就“国内第一”。 所谓“外行看热闹，内行看门道”，业界急需一股气流，摒弃浮躁，静下心来打磨前沿技术，真真正正用技术实力说话。这就少不了一个公开、公正、公平的大模型评测系统，把各类大模型的优点、不足一一展示出来。 如此，大家既能把握当下的发展水平、与国外顶尖技术的差距，也能更加清晰地看明白未来的努力方向，而不被资本热潮、舆论热潮所裹挟。
• 对于产业界来说，特别是对于不具备大模型研发能力的公司，熟悉大模型的技术边界、高效有针对性地做大模型技术选型，在现如今显得尤为重要。 而一个公开、公正、公平的大模型评测系统，恰好能够提供应有的助力，避免重复造轮子，避免因技术栈不同而导致不必要的争论，避免“鸡同鸭讲”。
• 对于大模型研发人员，包括对大模型技术感兴趣的人、学术界看中实践的人，各类大模型的效果对比，反应出了背后不同技术路线、技术方法的有效性，这就提供了非常好的参考意义。 不同大模型的相互参考、借鉴，帮忙大家躲过不必要的坑、避免重复实验带来的资源浪费，有助于整个大模型生态圈的良性高效发展。