我们正处于一个信息大暴发的时代,每天都能产生数以百万计的新闻资讯!
虽然有大数据推荐,但面对海量数据,通过我们的调研发现,在一个小时的时间里,您通常无法真正有效地获取您感兴趣的资讯!
头条新闻资讯订阅,旨在帮助您收集感兴趣的资讯内容,并且在第一时间通知到您。可以有效节约您获取资讯的时间,避免错过一些关键信息。
6月20日消息,B站昨日开源了轻量级Index-1.9B系列模型,包含基座模型、对照组、对话模型、角色扮演模型等多个版本。
附官方简介:
Index-1.9Bbase:基座模型,具有19亿非词嵌入参数量,在2.8T中英文为主的语料上预训练,多个评测基准上与同级别模型比处于领先。
Index-1.9Bpure:基座模型的对照组,与base具有相同的参数和训练策略,不同之处在于严格过滤了该版本语料中所有指令相关的数据,以此来验证指令对benchmark的影响。
Index-1.9Bchat:基于index-1.9Bbase通过SFT和DPO对齐后的对话模型,由于预训练中引入了较多互联网社区语料,聊天的趣味性明显更强。
Index-1.9Bcharacter:在SFT和DPO的基础上引入了RAG来实现fewshots角色扮演定制。
据介绍,该模型在预训练阶段使用了2.8T规模的数据,中英比例为4:5,代码占比6%。目前,角色扮演模型内置了角色“三三”,用户也可以按需创建自己的角色。
以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。
快照生成时间:2024-06-20 12:45:03
本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。
信息原文地址: