千亿参数大模型，支持输入的长文本首次达20万字！

在任何规模的大模型产品化队伍中，这个长度堪称目前的全球最长。

用数据说话：目前Claude支持最大长文本为100k（约8万字），而GPT-4则是32k（约2.5万字）。20万字，分别是它们的2.5倍和8倍。

这便是清华叉院助理教授杨植麟，创业大模型后拿出的第一份成绩单。

就在10月9日下午，杨植麟创业AI公司月之暗面（Moonshot AI）推出了首款大模型产品智能助手Kimi Chat。

核心被强调的亮点是：其背后虽是体量为千亿参数的“庞然大物”，但却可以hold住输入20万汉字，不管是《三体》还是《马斯克传》都能随便读。

据介绍，拓展上下文窗口长度，只是月之暗面“登月计划”的第一步；这一步的落实，实则是为下一步落子多模态提供基础——该公司预计在明年对外开放多模态版本产品。

而公司的最终目标，是在大模型领域做To C超级应用。

杨植麟身上的光环很多。

除了是清华叉院助理教授外，还有FAIR、Google Brain的工作履历，是Transformer-XL和XLNet工作一作，发明的算法曾在30多项AI标准任务取得SOTA，师从苹果公司AI负责人Ruslan Salakhutdinov、清华唐杰……

种种光环加持下，3月被曝创业后，月之暗面就自带一层神秘面纱。而后，红杉孵化式支持，循序完成两轮共计近20亿元融资，更是让公司获得了格外多的注目。

如今，这家公司首次公开亮相，回应了更多外界的议论。

“参数和上下文窗口长度共同决定模型效果”

现场演示时，量子位关注到，由于支持20万字长文本，月之暗面智能助手Kimi Chat有几点新花样。

一个是提供角色简介链接，Kimi就能根据链接内的基本信息，扮演角色进行对话：

一个是能同时支持多个（现场演示时为50个）文件的上传和阅读分析：

还有一个是能根据提供的文本内容，画思维导图……

这样一个智能助手产品，月之暗面对其应用场景定位比较广泛，“包括生产力、娱乐层面的一些场景都可以”。

为什么选择以“长文本输入”为核心，来构建自家底座大模型的差异化竞争力？

月之暗面的官方回答是，这是行业现在迫切需要解决的问题，也是通往下一步，即产品化的最大卡点。

一切基于整个团队的“朴素判断”，参数量决定了大模型支持多复杂的“计算”，而能够接收多少文本输入（即长文本技术）则决定了大模型有多大的“内存”，两者共同决定模型的应用效果。

上下文对应的其实是计算机的内存。

近几十年，计算机系统的内存发生了翻天覆地的变化。《超级玛丽》初代版本使用的内存非常非常低，但现在的应用内存至少都是几个GB。

参数量决定了模型能支持多复杂的计算，但不光是要有足够多的参数量，同时要有很强的上下文。上下文是新一代大模型的标准配置。

天下大模型苦长文本久矣。

就连目前最顶尖的模型，在上下文窗口方面还有非常大的探索空间，如Claude 2最长上下文窗口100k，GPT-4最长为32k，Llama2最长支持4k。

支持这样的长度对实际应用来说，远远不够。

此处拿大模型应用的热门方向Agent举例。Agent运行需要自动进行多轮规划和决策，且每次行动都需要参考历史记忆信息才能完成，这会带来模型输入的快速增加，同时也意味着，不能处理更长上下文的模型，将因无法全面准确地基于历史信息进行新规划和决策，从而降低成功运行概率。

该怎么弥补和提升呢？

在这一点上，杨植麟把市面上现有的解决方案划分为三种类型。

• 金鱼模型。采用滑动窗口方式，实际上抛弃了很多上文，难以解决任务（包括近期MIT的工作，号称可处理无限长度文本的StreamingLLM）；

• 蜜蜂模型。关注局部而忽略全局，只采样上下文中的一部分，如基于检索增强的RAG（retrieval augmented generation）方法，无法完成许多任务；

• 蝌蚪模型。长下文长度虽长，但模型参数太小（如10亿），涌现能力不够。

杨植麟将以上三种办法统称为解决大模型上下文窗口长度的捷径，并称，不会依赖这些滑动窗口、降采样、小模型等对性能损害较大的捷径方案。

具体到月之暗面自己的解决办法上，月之暗面主要在两点上发力，一是创新网络结构，二是进行工程优化。

接下来的目标，是按照产品驱动去迭代升级，把技术和产品结合到一起，最终目标是打造C端的Super App。

并且预计明年发布多模态产品，因为在杨植麟看来，无论何种模态的数据，对其进行无损压缩是可以实现高程度智能的。

无损压缩等同于对数据联合概率分布的预测，而多模态数据的生成，本质上也是在做数据的联合概率分布预测。

月之暗面创始团队

目前，刚创业起步的月之暗面已经获得了近20亿元融资，投资方包括红杉、今日资本、砺思资本等。

除了大模型火热之外，这样进展迅速的高估值、高融资和创始团队不无关系。

目前公开的资料来看，月之暗面联合创始核心团队共3人。

创始人兼CEO杨植麟，本科就读于清华大学计算机系。

高中时期，没有任何编程基础的杨植麟被选拔进信息学奥林匹克竞赛培训班，最终通过竞赛保送清华大学（非计算机系）。

直到大二时，他惊觉自己还是对计算机的兴趣更浓，于是果断转入计算机系，师从清华教授、IEEE Fellow唐杰。

计算机系就读期间，杨植麟以满分成绩通过所有程序设计课程。

2015年，他以年级第一的成绩毕业，随后远赴CMU（卡内基梅隆大学）语言技术研究所，跟随苹果公司AI负责人Ruslan Salakhutdinov和Google AI智能首席科学家William W. Cohen攻读博士学位。

△杨植麟与Ruslan Salakhutdinov（右一）、William Cohen（左一）合影

CUM就读期间，杨植麟不仅和图灵奖得主、深度学习三巨头之一Yoshua Bengio合作发布“火锅问答”数据集HotpotQA；还以一作身份，发表XLNet和Transformer-XL工作。

前者成为NeurIPS 2019与ACL 2019的最高引论文之一，Google Scholar引用次数破8000，后者引用次数也超3000。

杨植麟曾和Yoshua Bengio（图灵奖得主，深度学习三巨头之一）、Yann LeCun（图灵奖得主，又一个深度学习三巨头之一）、Quoc V. Le（Google Brain创始人之一）、何恺明（Kaiming He）等合写过论文。

据不完全统计，他曾在ICLR、NeurIPS、ICML、ACL、EMNLP等计算机顶会发表论文20余篇，研究成果累计Google Shcolar引用超过19000。

一般情况下，CMU的博士学位之旅6年起步，但仅仅花费4年时间，2019年，杨植麟就顺利拿下博士学位。

第二名联合创始人，目前是月之暗面的算法团队负责人，周昕宇。

他是清华大学2011级本科生，和杨植麟韬同为计算机系的学生。

周昕宇在毕业后选择加入旷视，工作内容是算法量产。

就职期间，他和旷视研究院基础科研负责人、ResNet作者之一张祥雨一道，研究移动端模型，以共同一作的身份撰写ShuffleNet论文，被CVPR接受。

这项工作后来影响了包括苹果3D人脸解锁在内的各种手机毫秒级人脸解锁技术。

另一名联合创始人是吴育昕，目前持有公司5.96%的股份。

吴育昕和杨植麟一样，先后毕业于清华和CMU，研究方向为计算机视觉中的检测和识别问题。

毕业后他先是在Meta的FAIR工作，曾和AI大神何恺明共同提出组归一化（GN）的方法。期间，他还创建了detectron2，这是Meta最受欢迎的AI项目之一。

在Google Scholarship上，吴育昕的被引次数超过了19000次。

这三人联手创业，目前公司规模拓展到50-60人上下。

有趣的是，月之暗面三位联创都出身清华。这不由得让人想到在今年以来的大模型热潮中，清华系占据创业团队半壁江山的现状。

包括师从的清华教授唐杰，就与另一名大模型创业明星智谱AI，有着千丝万缕的密切联系。

杨植麟倒是直言了对这种竞争格局的看法：“大模型空间非常大，很难有任何一家公司可以把所有的事情都做了。有ToB也有ToC，技术路线也不一样，我觉得这是一个巨大的空白空间。”

他认为，除了OpenAI，中国的几个公司都有机会产生自己独一无二的价值。

One More Thing

月之暗面这个公司名，来源于杨植麟最喜欢的专辑《The Dark Side of The Moon》。

在清华时，联创之一的周昕宇就和杨植麟共同创建了乐队，并创作了一首歌，有关“做了一个创业成功一夜暴富的白日梦”。

于是，媒体沟通会现场，当被问到“现在还摇滚吗”这个问题时，得到的答案是：

现在公司放着两把电吉他，还有一架钢琴（doge）。

原文：https://mp.weixin.qq.com/s/qveB4257_4QcnGvprlWozw