• 我的订阅
  • 科技

360智脑7b参数模型采用3.4万亿tokens训练

类别:科技 发布时间:2024-04-14 01:04:00 来源:浅语科技

4月12日消息,360公司日前在GitHub上开源了360智脑7B(70亿参数模型)。360智脑大模型采用3.4万亿Tokens的语料库训练,以中文、英文、代码为主,开放4K、32K、360K三种不同文本长度。360表示,360K(约50万字)是当前国产开源模型文本长度最长的。

360智脑7b参数模型采用3.4万亿tokens训练

360表示,他们在OpenCompass的主流评测数据集上验证了模型性能,包括C-Eval、AGIEval、MMLU、CMMLU、HellaSwag、MATH、GSM8K、HumanEval、MBPP、BBH、LAMBADA,考察的能力包括自然语言理解、知识、数学计算和推理、代码生成、逻辑推理等。其中360模型在四个评测数据集上达到第一,平均分为第三。

360智脑7b参数模型采用3.4万亿tokens训练

在LongBench(多任务、中英双语、针对大语言模型长文本理解能力的评测基准)测试中,360选择其中与中文长文本应用最密切相关的中文单文档问答、多文档问答、摘要、Few-shot等任务进行评测,360Zhinao-7B-Chat-32K模型取得了平均分第一的成绩。

360智脑7b参数模型采用3.4万亿tokens训练

在英文大海捞针测试(NeedleInAHaystack,是将关键信息插入一段长文本的不同位置,再对该关键信息提问,从而测试大模型的长文本能力的一种方法)中,360Zhinao-7B-Chat-360K达到98%以上的准确率。360仿照SuperCLUE-200K测评基准构造了中文大海捞针测试,同样做到了98%以上的准确率。

除模型权重外,该模型的微调训练代码,推理代码等全套工具集也被一并开源,大模型相关开发者可做到“开箱即用”。

据IT之家此前报道,周鸿祎曾表示,前段时间大模型行业卷文本长度,100万字“很快将是标配”。“我们打算将这个能力开源,大家没必要重复造轮子,定为360K主要是为了讨个口彩。”他还自称“开源的信徒”,信奉开源的力量。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-04-14 09:45:07

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

北京智源发布悟道3.0大模型系列
...京智源大会”上,北京智源人工智能研究院发布悟道3.0大模型系列,包含悟道・天鹰(Aquila)语言大模型系列、“天秤(FlagEval)”大语言评测体系及开放平台以及悟道・视界视觉大模型系列
2023-06-10 21:58:00
百川智能发布baichuan3稳定语言模型
1月29日,百川智能发布超千亿参数的大语言模型Baichuan3。在多个权威通用能力评测如CMMLU、GAOKAO和AGI-Eval中
2024-01-29 19:57:00
商汤发布开源社区最大最强多模态多任务通用大模型“书生2.5”
商汤发布开源社区最大最强多模态多任务通用大模型“书生2.5” 3月14日,商汤科技发布多模态多任务通用大模型“书生(INTERN)2.5”,在多模态多任务处理能力方面实现多项全新
2023-03-15 13:30:00
王小川新公司「百川智能」发布首个开源中英文大模型,开源免费可商用 | 最前线
...氪获悉,6月15日,百川智能公司正式推出中英文预训练大模型——baichuan-7B,参数量为70亿。百川智能是搜狗创始人王小川于2023年4月成立的新AI公司
2023-06-15 16:53:00
零一万物Yi-1.5来了,国产开源大模型排行榜再次刷新
...机器之心编辑部在 OpenAI 发布会的前一天,来自中国的大模型公司零一万物,让开源大模型社区活跃了起来:Yi 大模型家族新成员「Yi-1
2024-05-14 09:56:00
零一万物大模型Yi-34B夺得全球开源评测“双料冠军”,已在阿里云魔搭开源
...带队创办的AI2.0公司零一万物正式开源发布首款预训练大模型Yi-34B,模型开放商用申请,已在阿里云魔搭社区ModelScope首发
2023-11-06 15:25:00
腾讯自研混元大模型亮相,将通过腾讯云对外开放
国产大模型进入长跑期,从参数至上转向实用优先。在今天举行的2023腾讯全球数字生态大会上,腾讯混元大模型亮相,并宣布通过腾讯云对外开放。据悉,腾讯混元大模型是由腾讯全链路自研的通
2023-09-07 13:57:00
不同量级参数模型性能同样优秀 夸克大模型再登行业评测榜首
【CNMO新闻】“大模型时代,夸克有巨大机会创造出革新性搜索产品。”11月22日,夸克大模型公布了其面向搜索、生产力工具和资产管理助手的大模型技术布局。数据显示,夸克千亿级参数大
2023-11-24 13:53:00
llava-1.6与gpt-4vmp面硬刚的性能,一起来看看
...-Plus,与GPT-4V正面硬刚,这个有着SOTA级别性能的多模态大模型真正做到了“人无我有,人有我优”。继2023年4月的初级版本
2024-02-10 21:04:00
更多关于科技的资讯: