- 我的订阅
- 头条热搜
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
...的数值表示方式，能够在保持一定精度的同时，在大模型训练中提高训练速度、节省内存占用，最终降低训练成本。AI大模型开发系统Colossal-AI的混合精度训练再度升级，支持主流的BF16(O2) + FP8(O1)的新一代混合精度训练方案。仅...……更多
2024-09-26 13:34:00训练,精度,一行,混合,模型,成本
...发团队还发布了Time-300B数据集，为时序分析提供了丰富的训练资源，为各行各业的时间序列预测任务带来了新的解决方案。在当今以数据为驱动的时代，时序预测已成为众多领域不可或缺的核心组成。然而，构建一个兼具强大性...……更多
2024-10-23 09:55:00时序,模型,团队,训练,参数,突破
...测算，若要对一个5000亿参数规模的单体大模型进行充分训练，所需算力基础设施约在10亿美元规模，每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业，这都是天文数字和巨大代价，中国也不例外。知名科学杂志《Nature...……更多
2024-06-03 14:07:00模型,效率,成本,模型,推理,成本
...解决大模型商业化难题。「系列优质通用数据+领域增强训练工具链」，仅需10分钟就能让企业自主成为模型定制增强专家，实现行业最佳的多场景可用率。大模型热两年后，将大模型融入业务场景、组织流程，提高产品和服务质...……更多
2024-11-04 09:50:00百川,矩阵,旗舰,推理,模型,成本
...进行了有无注意力logit软封顶的消融实验，发现大多数预训练和后期评估中，生成质量几乎不受影响。本文中的所有评估均使用包含注意力logit软封顶的完整模型架构。然而，某些下游性能可能仍会受到此移除的轻微影响。
使用R...……更多
2024-06-29 09:37:00诚意,经济,模型,训练,性能,注意力
...国产通用GPU（GPGPU）所建设，能够快速构建大规模分布式训练环境，可支持超千卡规模、千亿参数级别的大模型训练和推理任务，旨在突破算力瓶颈，加速AI算力的国产化进程。国产千卡智算集群采用软硬件一体化的架构设计，...……更多
2024-06-27 19:01:00集群,落地,模型,国产,训练,支持
...业属性限制，在应用大模型时，除了对算力的高要求，AI训练过程中经常出现的坏卡问题也是这些行业不允许出现的。同时，为确保服务效率和隐私安全，他们一般需要将模型部署在本地，且非常看重硬件等基础设施层的稳定性...……更多
2024-07-11 16:45:00正在,时代,模型,推理,英特,英特尔
...峰会上，壁仞科技将首次公布壁仞自主原创的异构GPU协同训练方案HGCT，业界首次支持3种及以上异构GPU混合训练同一个大模型，用一套统一方案支持多种不同型号、不同厂商的GPU，而且一行代码适配多种框架。壁仞HGCT的异构协同...……更多
2024-09-06 10:03:00中国,芯片,效率,通信,技术,科技
...级的LightGPT，面向金融机构实现LightGPT-7B的开源，推理和训练全面适配华为昇腾系列。恒生电子推出金融大模型，背后经历了怎样的转向？落地应用金融行业，金融大模型具备哪些共通性和特殊性？当前大模型所需的AI算力，在国...……更多
2023-10-22 15:30:00恒生,芯片,模型,危机,升级,金融
...调LLM，如何确定微调适配自己的用例，以及如何管理良好训练数据集的经验法则。接下来，直接进入正题。适配大模型预训练预训练是指，使用数万亿个token数据，从头开始训练LLM的过程，通常使用自监督算法进行训练。最常见...……更多
2024-08-27 12:03:00小白,长文,千字,基础,指南,训练
...因此，越来越多的研究开始关注如何缩小模型，比如改进训练方法或使用适配器。该领域的一项主要技术被称为量化（quantization）。ML工程师Maarten Grootendorst撰写了一篇博客文章，在语言建模背景下专门介绍了量化技术，并通过...……更多
2024-08-01 09:38:00干货,可视化,模型,工程师,指南,工程
...复博士带队创办的AI2.0公司零一万物正式开源发布首款预训练大模型Yi-34B，模型开放商用申请，已在阿里云魔搭社区ModelScope首发。魔搭第一时间推出了模型部署相关教程，供开发者参考并快速上手。零一万物此次开源的Yi系列模...……更多
2023-11-06 15:25:00阿里,万物,模型,评测,冠军,全球
训练代码、中间 checkpoint、训练日志和训练数据都已经开源。尽管大语言模型 (LM) 在各种任务上取得了重大进展，但在训练和推理方面，性能和成本之间仍然需要权衡。对于许多学者和开发人员来说，高性能的 LM 是无法访问的...……更多
2024-09-06 10:01:00推理,模型,成本,参数,模型,训练
...月5日，Yi-34B分别在Hugging Face LLM Leaderboard（pretrained）（预训练大语言模型）和中文大模型榜单C-Eval排行榜已经爬升到1位。上下文窗口，意味着模型的“记忆力”。据介绍，Yi目前拥有200K上下文窗口，可处理约40万字的文本——这...……更多
2023-11-06 12:13:00李开复AI公司首发大模型，阿里云领投 | 36氪独家
...AWQ等算法在70B和405B参数量的模型上，均能有效保持量化精度。而最为简单的“四舍五入”（Naive）算法在这些大规模模型上则表现出显著的精度下降，特别是在激活被量化的情况下。
该研究团队发现，Llama 3.1系列模型的量化精...……更多
2024-08-05 09:34:00工具包,模型,工具,模型,算法,工具
...业最新研发成功一款命名为“空天·灵犀”的遥感智能训(训练)推(推理)一体机。“空天·灵犀”遥感智能训推一体机。中国科学院空天院 供图“空天·灵犀”遥感智能训推一体机搭载的高精度、高时效轻量化基础模型，能够在自...……更多
2023-10-27 16:57:00空天,智能,遥感,人工智能,一体机,中国
...该研究团队此前设计的ViSNet的基础上，他们使用机器学习训练了AI²BMD的势能函数。ViSnet是一种通用分子几何建模基础模型，已在《Nature Communication》上发表，并已集成到PyTorch Geometry库中。AI²BMD利用基于ViSNet的势能函数，在每一...……更多
2024-11-08 09:42:00里程,微软,领衔,里程碑,分子,突破
...模型、智能解译软件系统，具有多任务高精度、模型高效训练推理、低成本灵活部署及自主创新四大核心特色。其中，在多任务高精度方面，模型支持包含地物要素提取、区域变化检测等9大类36子类下游任务，多任务平均精度较...……更多
2023-10-27 11:57:00遥感,一体机,模型,科研,一体,突破
...AI基准设计四大目标以及如何通过并行方法加速大规模预训练模型。为了完整体现郑纬民院士的分享及思考，在不改变原意的基础上，量子位对他的演讲内容进行了编辑整理。关于MEET 智能未来大会：MEET大会是由量子位主办的智...……更多
2023-01-11 05:00:00清华,院士,高性能,人工智能,模型,智能
...场景。在以前，企业想要建一个企业知识库，需要通过预训练或者微调训练大模型，也需要比较高素质的AI人才。当底层的大模型数据每更新一次，都要重新训练或微调，成本也较为昂贵，且可控性和稳定性也很容易下降。另外...……更多
2023-12-21 15:32:00百川,外挂,模型,成本,硬盘,智能
...门控模型控制专家模型的选择和加权混合。简言之，MoE在训练过程通过门控模型实现“因材施教”，进而在推理过程实现专家模型之间的“博采众长”。 图1MoE架构原理示意图1MoE的特征优势是专家化、动态化、稀疏化，在模型研...……更多
2024-11-04 16:00:00研究方向,模型,现状,方向,趋势,研究
一键部署LLM混合精度推理，端到端吞吐比AWQ最大提升6倍！清华大学计算机系PACMAN实验室发布开源混合精度推理系统——MixQ。MixQ支持8比特和4比特混合精度推理，可实现近无损的量化部署并提升推理的吞吐。△图1 MixQ吞吐与已有...……更多
2024-10-22 09:57:00推理,清华,吞吐,精度,混合,模型
只用1890美元、3700 万张图像，就能训练一个还不错的扩散模型。现阶段，视觉生成模型擅长创建逼真的视觉内容，然而从头开始训练这些模型的成本和工作量仍然很高。比如 Stable Diffusion 2.1 花费了 200000 个 A100 GPU 小时。即使研...……更多
2024-07-30 09:37:00从头,模型,训练,参数,掩蔽,训练
...晶圆级AI芯片WSE-3，性能达到了上一代WSE-2的两倍，可用于训练业内一些最大的人工智能模型。在近日的Hot Chips 2024大会上，Cerebras Systems详细介绍了这款芯片在AI推理方面的性能。根据官方资料显示，WSE-3依然是采用了一整张12英寸...……更多
2024-09-02 13:36:00晶圆,芯片,生成,模型,性能,参数
...模型则进一步推动架构的发展，强调不断压缩更大规模AI训练与推理工作负载的处理成本。英伟达公司超大规模与HPC副总裁IanBuck在大会前的简报中解释道，“在过去的2023年，我们经历了多模态生成式AI的诞生，文本到图像、图像...……更多
2024-03-20 02:59:00英伟,制造商,模型,引擎,制造,英伟
...吗？要回答这些问题，我们需要重新思考AI模型的工作和训练方式，尤其是要转换视角，首先考虑底层硬件的物理约束。或许，物理神经网络PNN（physical neural network）就是我们要找的答案。最近，一篇有关PNN训练的综述性论文登...……更多
2024-07-15 09:33:00康奈尔,康奈,耶鲁,剑桥,变革,模型
...界参数规模最大、效果最好的开源MoE大语言模型，采用7T训练tokens，总参数量389B，激活参数量52B，上下文长度高达256K，技术报告也同步发布。混元-Large包括三款模型：Hunyuan-A52B-Pretrain，Hunyuan-A52B-Instruct和Hunyuan-A52……更多
2024-11-06 09:41:00模型,腾讯,全家,生成,同时,语言
...，从而解决了这些问题。该团队采用了分块蒸馏过程，即训练更小、更高效的学生模型（student model），以模仿更大的教师模型（teacher model）的功能。通过完善这些学生模型并评估其性能，英伟达开发出了 Llama-3.1 版本，在大幅...……更多
2024-09-26 09:49:00英伟,模型,模型,英伟,精度,内存
...积累，大型企业拥有的丰富私有数据资源，对于大模型的训练至关重要。大型政企由于其业务特点，更倾向于将数据留在本地，确保“数据不出域”。因此，基于混合云的大模型将成为未来行业大模型的重要部署形态，既满足业...……更多
2023-11-30 15:08:00华为,混合,模型,升级,智能,行业
...从现场视频实况中秒速定位。相比于传统CV识别，大模型训练平台具备复杂指令处理能力，可基于更少的数据样本加自学习，提高视频识别效率和准确率，进而使更多细分领域的长尾需求得到满足。 AIoT新产品全面亮相大模型赋...……更多
2024-10-22 15:45:00安博,加速度,北京,梧桐,落地,模型
更多关于科技的资讯：
快科技3月7日消息，前不久，小米发布了米家中央空调Pro，这是小米第一款一拖N的中央空调。值得注意的是，中央空调与普通空调有很大不同
2025-03-07 15:14:00
快科技3月7日消息，苹果公司计划在今年晚些时候推出全新的iPhone 17 Air，这款设备将采用超薄设计，厚度可能接近OLED iPad Pro
2025-03-07 15:14:00
快科技3月7日消息，小鹏汽车今日宣布：2025款小鹏G9全系标配5C超充AI电池。该电池的峰值功率达530kW，可在12分钟内完成10%-80%的充电
2025-03-07 15:14:00
在核心零售业务之外，京东还在寻找新增长曲线。 图源：图虫3月6日晚，京东集团（09618.HK、JD.O，下称“京东”）发布了2024年第四季度及全年业绩
2025-03-07 15:29:00
本文转自：人民网-广西频道近年来，百色市气象局通过加强科技创新、强化人工影响天气（以下简称“人影”）服务、推进品质认证
2025-03-07 15:35:00
“她力量”特辑近年来，越来越多的女性创业者崭露头角，在商业领域展现出独特的智慧与力量。为彰显这股蓬勃的“她力量”，交大安泰EMBA特别推出“她力量”特辑
2025-03-07 15:39:00
齐鲁晚报·齐鲁壹点 张召旭 实习生 白杨3月7日，一场旨在促进服务消费市场繁荣与发展的盛事——2025齐鲁服务消费节暨齐鲁首发经济平台上线仪式
2025-03-07 15:40:00
快科技3月7日消息，通常情况下，高性能跑车尺寸一般比较小，讲究的是一个“贴地飞行”，然而近期上市的小米SU7 Ultra可能会颠覆你的认知
2025-03-07 15:44:00
快科技3月7日消息，本周苹果正式推出全新Mac设备—Mac Studio，这款新品首发搭载苹果最强芯片M3 Ultra
2025-03-07 15:44:00
快科技3月7日消息，据报道，浙江宁波的王女士反映，其12岁的儿子小李在使用电话手表时，因轻信网络弹窗广告，被骗走3万多元
2025-03-07 15:44:00
快科技3月7日消息，据媒体报道，本田汽车表示，如果日产汽车公司社长内田诚卸任，本田愿意重启收购谈判，以创建世界第四大汽车生产商
2025-03-07 15:44:00
3月6日，京东集团发布了2024年四季度及全年业绩，在国内消费潜力不断释放、消费信心有效提振的助力下，京东集团不断升级自身的供应链基础设施能力
2025-03-07 15:51:00
【宅男财经｜专家面对面】3月6日，全球首款通用AI智能体“Manus”的发布引发科技行业广泛关注。据多家媒体报道，在二手交易平台上
2025-03-07 15:57:00
2025年开年之际，国货影像品牌松典相机迎来高光时刻。凭借产品创新力与精准营销策略，松典相机入选抖音平台摄影摄像类目TOP品牌
2025-03-07 16:02:00