- 我的订阅
- 科技
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
腾讯推出 Hunyuan-Large 开源大模型
IT之家11月5日消息，腾讯今日宣布推出Hunyuan-Large大模型，官方表示这是目前业界已经开源的基于Transformer的最大MoE模型，拥有3890亿总参数（389B）和520亿激活参数（52B）。
腾讯今日在HuggingFace开源了Hunyuan-A52B-Pretrain、Hunyuan-A52B-Instruct和Hunyuan-A52B-Instruct-FP8。并发布了技术报告和训练推理操作手册，详细介绍了模型能力和训练与推理的操作。
其中模型技术优势如下：
高质量合成数据：通过合成数据增强训练，Hunyuan-Large能够学习到更丰富的表示，处理长上下文输入，并更好地泛化到未见数据
KV缓存压缩：采用分组查询注意力（GQA）和跨层注意力（CLA）策略，显著减少了KV缓存的内存占用和计算开销，提高了推理吞吐
专家特定学习率缩放：为不同专家设置不同的学习率，确保每个子模型都能有效地从数据中学习，并为整体性能做出贡献
长上下文处理能力：预训练模型支持高达256K的文本序列，Instruct模型支持128K的文本序列，显著提升了长上下文任务的处理能力
广泛的基准测试：在多种语言和任务上进行广泛实验，验证了Hunyuan-Large的实际应用效果和安全性
▲Hunyuan-Large预训练模型与具有相似激活参数大小的Dense和MoE竞争对手相比
IT之家附相关链接如下：
论文：https://arxiv.org/pdf/2411.02265
Github：https://github.com/Tencent/Tencent-Hunyuan-Large
Huggingface：https://huggingface.co/tencent/Tencent-Hunyuan-Large
腾讯云：https://cloud.tencent.com/product/hunyuan
以上内容为资讯信息快照，由td.fyun.cc爬虫进行采集并收录，本站未对信息做任何修改，信息内容不代表本站立场。
快照生成时间：2024-11-05 20:45:08
本站信息快照查询为非营利公共服务，如有侵权请联系我们进行删除。
信息原文地址：
