- 我的订阅
- 科技
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
zyphra推出zamba2-mini1.2b模型
8月29日消息，Zyphra于8月27日发布博文，宣布推出Zamba2-mini1.2B模型，共有12亿参数，声称是端侧SOTA小语言模型，在4bit量化下内存占用低于700MB。
IT之家注：SOTA全称为state-of-the-art，并不是特指某个具体的模型，而是指在该项研究任务中，目前最好/最先进的模型。
Zamba2-mini1.2B虽然尺寸不大，但媲美包括谷歌Gemma-2B、Huggingface的SmolLM-1.7B、苹果的OpenELM-1.1B和微软的Phi-1.5等更大模型。
在推理任务中，Zamba2-mini的卓越性能尤为显著，与Phi3-3.8B等模型相比，Zamba2-mini的首次令牌时间（从输入到输出第一个token的延迟）是此前的二分之一，内存占用减少了27%。
Zamba2-mini1.2B主要通过高度优化的架构实现，融合了不同神经网络设计的优势，既能保持大型密集变压器的高质量输出，又能以更小模型的计算和内存效率运行。
与前代Zamba1相比，Zamba2-mini的关键进步之一是集成了两个共享注意力层（attentionlayers）。
这种双层方法增强了模型在不同深度保持信息的能力，从而提高了整体性能。在共享注意力层中加入旋转位置嵌入也略微提高了性能，这表明Zyphra致力于在模型设计中进行渐进而有影响力的改进。
Zamba2-mini是在一个包含三万亿个token的海量数据集上进行预训练的，该数据集来自Zyda和其他公开来源。
这个庞大的数据集经过了严格的过滤和重复处理，以确保获得最高质量的训练数据，并在退火（annealing）阶段对其进一步完善，其中包括在1000亿个质量极高的tokens上进行训练。
Zyphra已承诺使Zamba2-mini成为Apache2.0许可下的开源模型。
以上内容为资讯信息快照，由td.fyun.cc爬虫进行采集并收录，本站未对信息做任何修改，信息内容不代表本站立场。
快照生成时间：2024-08-30 08:45:06
本站信息快照查询为非营利公共服务，如有侵权请联系我们进行删除。
信息原文地址：
