复旦大学团队模仿ChatGPT推出MOSS系统

生成式AI近期受到广泛关注，复旦大学自然语言处理实验室模仿ChatGPT推出对话式大型语言模型MOSS，该系统由邱锡鹏教授团队发布至公开平台（https://moss.fastnlp.top/），邀公众参与内测。

从数字孪生体联盟实际测试的结果来看，该网站当时处于访问过度的状态，本文发布的时候，网站已经无法直接使用，需要申请等候测试的通过。

有兴趣的数字孪生体联盟成员可以访问网站，待获得测试资格后体验。

按照MOSS团队的介绍，MOSS是模仿《流浪地球2》中的MOSS名称，给团队每个人都留下了深刻的印象，因此便使用了这样一个名称来指代我们的模型。

复旦大学教授邱锡鹏表示：“尽管MOSS还有很大改善空间，但它的问世证明了在开发类ChatGPT产品的路上，国内科研团队有能力克服技术上的重要挑战。”

邱锡鹏主要从事自然语言处理、深度学习等方向的研究，在 ACL、EMNLP、AAAI、IJCAI 等计算机学会 A/B 类期刊、会议上发表 50 余篇学术论文。开源自然语言处理工具 FudanNLP [GitHub] [Google Code] 项目开发者，FastNLP [GitHub] 项目负责人。 2015 年入选首届中国科协人才托举工程，2018 年获中国中文信息学会 “钱伟长中文信息处理科学技术奖—汉王青年创新奖”。（来自复旦大学官方网站介绍，https://cs.fudan.edu.cn/3f/65/c25900a278373/page.htm）

MOSS研发项目得到了上海人工智能实验室的有力支持。

针对MOSS被批“体验不好”的问题，平台发布声明：“首先非常感谢大家的关注！MOSS还是一个非常不成熟的模型，距离ChatGPT还有很长的路需要走。我们一个学术研究的实验室无法做出和ChatGPT能力相近的模型，Moss只是想在百亿规模参数上探索和验证ChatGPT的技术路线，并且实现各种对话能力。”

声明表示，“我们最初的想法只是想将MOSS进行内测，以便我们可以进一步优化。没有想到会引起这么大的关注，我们的计算资源不足以支持如此大的访问量，并且作为学术团队我们也没有相关的工程经验，给大家造成非常不好的体验和第一印象，在此向大家致以真诚的歉意。”

团队还表示，在MOSS完成初步的验证之后，会将MOSS的经验、代码、模型参数开源出来供大家参考。

据悉，MOSS可执行对话生成、编程、事实问答等一系列任务，打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。

MOSS开发的基本步骤与ChatGPT一样，包括自然语言模型的基座训练、理解人类意图的对话能力训练两个阶段。在对话能力训练阶段，OpenAI收集了至少几十万条人类指令，让各行各业的专业标注员写出指令回复，再将它们输入模型基座，以帮助ChatGPT逐步理解各种指令。

复旦团队则采用不同的技术路线，通过让MOSS和人类以及其他对话模型都进行交互，显著提升了学习效率和研发效率，短时间内就高效完成了对话能力训练。

据MOSS团队解释，当前版本的MOSS表现不够稳定，有些回答存在事实差错或逻辑不顺。“MOSS的英文回答水平比中文高，因为它的模型基座学习了3000多亿个英文单词，中文词语只学了约300亿个。”