说到 Kimi Chat，去年底已经凭借 20 万字的超长上下文火了起来。和其他国产大模型不同，Kimi 给魔法哥的感觉一直是比较另类的。一个新厂也能做大模型？上下文长度甩了大厂几条街？
带着好奇，魔法哥在春节前就提交了他们家 API 的内测申请。年后发现，开放平台已经上线了，API 也已发布，官网的文档、计费标准、用户后台等等都已准备就绪。
那还等啥，开搞！于是最近几天魔法哥一直在尝试他们的 API，这里聊聊感受，想到哪写到哪。
Moonshot
其实 “Kimi” 是他们家智能助手的名字，真正的大模型是叫 Moonshot。这一点我们从 API 的 model 参数中也能发现。因此后面谈到大模型时，就统一称呼为 Moonshot。
Moonshot 这个名字可能取自 “登月计划”，可见他们的雄心壮志。公司取名 “月之暗面”，更是增添了几分神秘色彩。
超长上下文
Kimi 的对话历史记录可以容纳 20 万字，亲测有效。魔法哥最开始还以为这是通过 RAG 变通实现的，但后来发现是我格局小了。当一次对话的累计上下文超过 20 万字时，Kimi 会要求另起一个新对话。
现在有了 API，就可以更直接地验证这一点。Moonshot API 可以调用三个规格的模型：
·
moonshot-v1-8k
·
·
moonshot-v1-32k
·
·
moonshot-v1-128k
·
其中 128k 这一款就是支持 20 万上下文的完全体。
看到这里，大家可能会疑惑，128k 也就是 12.8 万，凭什么支持 20 万字？这就引出了下一个话题——Token 利用率。
Token 利用率
这是魔法哥自己发明的一个指标，表示模型的 token 与中文汉字的换算关系。
国内外的大模型对于英文单词的 token 切分效率大体类似——对于常规的英文文本，每个 token 大约相当于 4 个英文字符。但对于汉字的 token 切分效率，各个模型就各有不同了。
我用一段 2200 余字的中文提示词，测试了 Moonshot 和另外两个国外标杆，它们的 token 计数分别如下：
·
GPT-3.5：2922（1 token ≈ 0.77 汉字）
·
·
Gemini Pro：1712（1 token ≈ 1.32 汉字）
·
·
Moonshot：1590（1 token ≈ 1.42 汉字）
·
Moonshot AI 官方文档说：“对于一段通常的中文文本，1 个令牌大约相当于 1.5～2 个汉字。” 上面的测试也佐证了这一点。这样换算下来，128k 确实不少于 20 万汉字。
对于国内的开发者来说，需要特别留意 “Token 利用率” 这个指标。因为一反一复，各个模型的 token 利用率差距可能达到两倍之多。也就是说，同样是 128k 的模型，它们的中文窗口其实差别巨大。
性能测试
最近正好在做一个项目，因此拿手边的几个大模型做了测试。测试方法比较粗糙，这里就不展开了。以下测试结果也是魔法哥的主观判断，请谨慎看待：
·
Moonshot API 的输出速度比不上 GPT-3.5 Turbo，但明显比 GPT-4 Turbo 要快一些。
·
·
对提示词的理解能力，Moonshot 的表现介于 3.5 和 4 之间。
·
·
角色扮演能力，Moonshot 明显强于 3.5，接近 4。
·
·
在某个垂直应用场景中，Moonshot 的表现明显优于 3.5，接近 4。
·
·
Moonshot 与另外几个模型对比，表现突出。
·
这个结果让魔法哥颇感意外。让它来陪跑，它竟然敢夺牌！这家 “没什么背景” 的新厂更加勾起了我的好奇。
月之暗面
前段时间听说这家公司融了不少钱，不过魔法哥一直还是把他们当作 “野路子” “愣头青” 来看。然而这次的测试确实让我大为改观了。
魔法哥当时测完之后，实在忍不住跑到群里感叹说：“远超预期，不知道他们是怎么做到的！”
后来一番查证，才发现他们团队原来卧虎藏龙，核心成员曾参与过 Gemini、Bard、盘古 NLP 等大模型项目。回头看上面 “Token 利用率” 的对比，Moonshot 和 Gemini 属于同一流派，或许架构思路真的是师出同源？
API 设计
Moonshot 还有一点让魔法哥很有好感——它的 API 语法完全兼容 OpenAI。这意味着海量基于 GPT 的开源项目和商业项目都有极大可能在 Moonshot 上跑起来。
对于开发者来说，这也是一项巨大的优势。现有基于 GPT 的老项目都可以无缝接入 Moonshot，基于 Moonshot 的新项目也可以随时更换引擎。不管是迁移来还是迁移走都毫无压力！
兼容行业标杆是一种智慧。这个时候魔法哥还真的庆幸这家 “小厂” 没有大厂的包袱和架子。
开放平台
Moonshot 的开放平台已经吸引了不少开发者加入社区。魔法哥也在第一时间溜进了内测群，感受到热烈的技术探讨氛围，官方客服的支持也算及时和到位。
值得一提的是，平台还为每个新用户赠送了 15 元的 API 调用额度。对于开发测试来说，足够用一阵子了。
Moonshot 的官方文档（ platform.moonshot.cn ）也写得比较清爽，容易上手。如果你是初学 AI 应用开发，不妨拿 Moonshot 来练练手。
前面提到，Moonshot API 兼容 OpenAI，我们可以享受到 OpenAI 生态的海量资源，拿来就用；而且新手对 Moonshot 的技术投资完全没有风险，因为学会它就相当于学会了 GPT，稳赚！
小结
看到这里，相信你也发现了，魔法哥已经成了 Moonshot 他们家的 “自来水”。
对于像我这样的 AI 应用开发者来说，Moonshot 的出现确实令人欣喜。它的性能、兼容性、开放性都让人眼前一亮，足以成为 AI 生态圈不可忽视的新锐力量。
出自：https://mp.weixin.qq.com/s/9AKWEr6IqsyY9a6oYmDCtg