- 我的订阅
- 科技
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
mistralai公司推出mixtral8x22b开源模型
类别：科技 发布时间：2024-04-12 01:34:00 来源：浅语科技
4月11日消息，MistralAI公司近日推出了Mixtral8x22B开源模型，共有1760亿个参数，Context长度（上下文文本）为6.5万个token，可以通过Torrent下载。
MistralAI公司自成立以来一直备受外界关注，“6人团队，7页PPT，8亿融资”不断缔造传奇，而且在得到微软的投资之后更是进入发展快车道。
该公司今天发布的Mixtral8x22B开源模型是个开源模型，官方目前放出了Torrent种子链接，文件大小为281GB。用户可以通过磁性链接直接下载，或者通过HuggingFace和PerplexityAILabs平台进行下载。IT之家附上相关截图如下：
Mixtral8x22B共有1760亿个参数，Context长度（上下文文本）为6.5万个token，不过为单一任务可以调用部分模型（440亿参数），因此使用起来更加灵活。
以上内容为资讯信息快照，由td.fyun.cc爬虫进行采集并收录，本站未对信息做任何修改，信息内容不代表本站立场。
快照生成时间：2024-04-12 09:45:13
本站信息快照查询为非营利公共服务，如有侵权请联系我们进行删除。
信息原文地址：
更多关于模型,公司,模型,上下文,参数,公司的资讯：
...个共享的表示形式，进而在模型中实现统一的时序对齐和上下文理解，这种编码方法，让模型能够更好地整合和理解不同类型的输入
2023-10-10 11:51:00
...ama 3已经开放了80亿（8B）和700亿（70B）两个小参数版本，上下文窗口为8k。Meta表示，通过使用更高质量的训练数据和指令微调
2024-04-19 15:58:00
...的的预训练模型也将开源模型窗口进行扩展，开放了4K的上下文窗口。当前，已有的开源模型窗口长度在2K以内——对一些长文本建模任务，以往模型的处理效果可能会有所制约。在需要引入外
2023-06-15 16:53:00
...言模型）和中文大模型榜单C-Eval排行榜已经爬升到1位。上下文窗口，意味着模型的“记忆力”。据介绍，Yi目前拥有200K上下文窗口，可处理约40万字的文本——这也是目前全球
2023-11-06 12:13:00
...正式宣布，旗下的Kimi智能助手，已支持200万字超长无损上下文，并于即日起开启产品内测。Kimi智能助手是月之暗面（Moonshot AI）基于自研千亿参数大模型打造的对话式 AI 助手产品
2024-03-21 12:36:00
...开发者大会上推出了0.0035美元/千tokens的Gemini Pro1.5，并将上下文长度拓展至200万tokens
2024-05-24 13:40:00
谷歌大改Transformer，“无限”长度上下文来了。现在，1B大模型上下文长度可扩展到1M（100万token，大约相当于10部小说）
2024-04-14 02:57:00
...答、对话、写作、翻译等功能，后者则可以完成处理200K上下文、多文档阅读理解，以及超长知识库构建等任务。
今年3月6日，零一万物官微宣布开源Yi-9B模型。据介绍，Yi-9
2024-05-07 18:33:00
...antization)
最大序列长度为8,192个数据单元，以处理更长的上下文信息纽约时报点评道，开源Gork背后的原始代码
2024-03-20 13:44:00
更多关于科技的资讯：
