国内首个类chatgpt模型：复旦大学moss今日正式开源

复旦大学自然语言处理实验室开发的新版MOSS模型今日正式上线，成为国内首个插件增强的开源对话语言模型。

目前，MOSS模型已上线开源，相关代码、数据、模型参数已在Github和HuggingFace等平台开放，供科研人员下载。

据介绍，MOSS是一个支持中英双语和多种插件的开源对话语言模型，moss-moon系列模型具有160亿参数，在FP16精度下可在单张A100/A800或两张3090显卡运行，在INT4/8精度下可在单张3090显卡运行。MOSS基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。

MOSS来自复旦大学自然语言处理实验室的邱锡鹏教授团队，名字与《流浪地球》电影中的AI同名，已发布至公开平台（https://moss.fastnlp.top/），邀请公众参与内测。

IT之家查看MOSS的GitHub页面发现，该项目所含代码采用Apache2.0协议，数据采用CCBY-NC4.0协议，模型权重采用GNUAGPL3.0协议。如需将该项目所含模型用于商业用途或公开部署，需要签署文件并发送至robot@fudan.edu.cn取得授权，商用情况仅用于记录，不会收取任何费用。MOSS用例：

▲解方程

▲生成图片

▲无害性测试模型

moss-moon-003-base:MOSS-003基座模型，在高质量中英文语料上自监督预训练得到，预训练语料包含约700B单词，计算量约6.67x1022次浮点数运算。

moss-moon-003-sft:基座模型在约 110万多轮对话数据上微调得到，具有指令遵循能力、多轮对话能力、规避有害请求能力。

moss-moon-003-sft-plugin:基座模型在约110万多轮对话数据和约30万插件增强的多轮对话数据上微调得到，在moss-moon-003-sft基础上还具备使用搜索引擎、文生图、计算器、解方程等四种插件的能力。

moss-moon-003-pm:在基于moss-moon-003-sft收集到的偏好反馈数据上训练得到的偏好模型，将在近期开源。

moss-moon-003:在moss-moon-003-sft基础上经过偏好模型moss-moon-003-pm训练得到的最终模型，具备更好的事实性和安全性以及更稳定的回复质量，将在近期开源。

moss-moon-003-plugin:在moss-moon-003-sft-plugin基础上经过偏好模型moss-moon-003-pm训练得到的最终模型，具备更强的意图理解能力和插件使用能力，将在近期开源。数据

moss-002-sft-data:MOSS-002所使用的多轮对话数据，覆盖有用性、忠实性、无害性三个层面，包含由text-davinci-003生成的约57万条英文对话和59万条中文对话。

moss-003-sft-data: moss-moon-003-sft所使用的多轮对话数据，基于MOSS-002内测阶段采集的约10万用户输入数据和gpt-3.5-turbo构造而成，相比moss-002-sft-data，moss-003-sft-data更加符合真实用户意图分布，包含更细粒度的有用性类别标记、更广泛的无害性数据和更长对话轮数，约含110万条对话数据。目前仅开源少量示例数据，完整数据将在近期开源。

moss-003-sft-plugin-data: moss-moon-003-sft-plugin所使用的插件增强的多轮对话数据，包含支持搜索引擎、文生图、计算器、解方程等四个插件在内的约30万条多轮对话数据。目前仅开源少量示例数据，完整数据将在近期开源。

moss-003-pm-data: moss-moon-003-pm所使用的偏好数据，包含在约18万额外对话上下文数据及使用moss-moon-003-sft所产生的回复数据上构造得到的偏好对比数据，将在近期开源。