- 我的订阅
- 头条热搜
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
...的数值表示方式，能够在保持一定精度的同时，在大模型训练中提高训练速度、节省内存占用，最终降低训练成本。AI大模型开发系统Colossal-AI的混合精度训练再度升级，支持主流的BF16(O2) + FP8(O1)的新一代混合精度训练方案。仅...……更多
2024-09-26 13:34:00训练,精度,一行,混合,模型,成本
...发团队还发布了Time-300B数据集，为时序分析提供了丰富的训练资源，为各行各业的时间序列预测任务带来了新的解决方案。在当今以数据为驱动的时代，时序预测已成为众多领域不可或缺的核心组成。然而，构建一个兼具强大性...……更多
2024-10-23 09:55:00时序,模型,团队,训练,参数,突破
...测算，若要对一个5000亿参数规模的单体大模型进行充分训练，所需算力基础设施约在10亿美元规模，每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业，这都是天文数字和巨大代价，中国也不例外。知名科学杂志《Nature...……更多
2024-06-03 14:07:00模型,效率,成本,模型,推理,成本
...解决大模型商业化难题。「系列优质通用数据+领域增强训练工具链」，仅需10分钟就能让企业自主成为模型定制增强专家，实现行业最佳的多场景可用率。大模型热两年后，将大模型融入业务场景、组织流程，提高产品和服务质...……更多
2024-11-04 09:50:00百川,矩阵,旗舰,推理,模型,成本
...进行了有无注意力logit软封顶的消融实验，发现大多数预训练和后期评估中，生成质量几乎不受影响。本文中的所有评估均使用包含注意力logit软封顶的完整模型架构。然而，某些下游性能可能仍会受到此移除的轻微影响。
使用R...……更多
2024-06-29 09:37:00诚意,经济,模型,训练,性能,注意力
...国产通用GPU（GPGPU）所建设，能够快速构建大规模分布式训练环境，可支持超千卡规模、千亿参数级别的大模型训练和推理任务，旨在突破算力瓶颈，加速AI算力的国产化进程。国产千卡智算集群采用软硬件一体化的架构设计，...……更多
2024-06-27 19:01:00集群,落地,模型,国产,训练,支持
...业属性限制，在应用大模型时，除了对算力的高要求，AI训练过程中经常出现的坏卡问题也是这些行业不允许出现的。同时，为确保服务效率和隐私安全，他们一般需要将模型部署在本地，且非常看重硬件等基础设施层的稳定性...……更多
2024-07-11 16:45:00正在,时代,模型,推理,英特,英特尔
...级的LightGPT，面向金融机构实现LightGPT-7B的开源，推理和训练全面适配华为昇腾系列。恒生电子推出金融大模型，背后经历了怎样的转向？落地应用金融行业，金融大模型具备哪些共通性和特殊性？当前大模型所需的AI算力，在国...……更多
2023-10-22 15:30:00恒生,芯片,模型,危机,升级,金融
...峰会上，壁仞科技将首次公布壁仞自主原创的异构GPU协同训练方案HGCT，业界首次支持3种及以上异构GPU混合训练同一个大模型，用一套统一方案支持多种不同型号、不同厂商的GPU，而且一行代码适配多种框架。壁仞HGCT的异构协同...……更多
2024-09-06 10:03:00中国,芯片,效率,通信,技术,科技
...调LLM，如何确定微调适配自己的用例，以及如何管理良好训练数据集的经验法则。接下来，直接进入正题。适配大模型预训练预训练是指，使用数万亿个token数据，从头开始训练LLM的过程，通常使用自监督算法进行训练。最常见...……更多
2024-08-27 12:03:00小白,长文,千字,基础,指南,训练
...因此，越来越多的研究开始关注如何缩小模型，比如改进训练方法或使用适配器。该领域的一项主要技术被称为量化（quantization）。ML工程师Maarten Grootendorst撰写了一篇博客文章，在语言建模背景下专门介绍了量化技术，并通过...……更多
2024-08-01 09:38:00干货,可视化,模型,工程师,指南,工程
...复博士带队创办的AI2.0公司零一万物正式开源发布首款预训练大模型Yi-34B，模型开放商用申请，已在阿里云魔搭社区ModelScope首发。魔搭第一时间推出了模型部署相关教程，供开发者参考并快速上手。零一万物此次开源的Yi系列模...……更多
2023-11-06 15:25:00阿里,万物,模型,评测,冠军,全球
训练代码、中间 checkpoint、训练日志和训练数据都已经开源。尽管大语言模型 (LM) 在各种任务上取得了重大进展，但在训练和推理方面，性能和成本之间仍然需要权衡。对于许多学者和开发人员来说，高性能的 LM 是无法访问的...……更多
2024-09-06 10:01:00推理,模型,成本,参数,模型,训练
...月5日，Yi-34B分别在Hugging Face LLM Leaderboard（pretrained）（预训练大语言模型）和中文大模型榜单C-Eval排行榜已经爬升到1位。上下文窗口，意味着模型的“记忆力”。据介绍，Yi目前拥有200K上下文窗口，可处理约40万字的文本——这...……更多
2023-11-06 12:13:00李开复AI公司首发大模型，阿里云领投 | 36氪独家
...AWQ等算法在70B和405B参数量的模型上，均能有效保持量化精度。而最为简单的“四舍五入”（Naive）算法在这些大规模模型上则表现出显著的精度下降，特别是在激活被量化的情况下。
该研究团队发现，Llama 3.1系列模型的量化精...……更多
2024-08-05 09:34:00工具包,模型,工具,模型,算法,工具
...业最新研发成功一款命名为“空天·灵犀”的遥感智能训(训练)推(推理)一体机。“空天·灵犀”遥感智能训推一体机。中国科学院空天院 供图“空天·灵犀”遥感智能训推一体机搭载的高精度、高时效轻量化基础模型，能够在自...……更多
2023-10-27 16:57:00空天,智能,遥感,人工智能,一体机,中国
...该研究团队此前设计的ViSNet的基础上，他们使用机器学习训练了AI²BMD的势能函数。ViSnet是一种通用分子几何建模基础模型，已在《Nature Communication》上发表，并已集成到PyTorch Geometry库中。AI²BMD利用基于ViSNet的势能函数，在每一...……更多
2024-11-08 09:42:00里程,微软,领衔,里程碑,分子,突破
...模型、智能解译软件系统，具有多任务高精度、模型高效训练推理、低成本灵活部署及自主创新四大核心特色。其中，在多任务高精度方面，模型支持包含地物要素提取、区域变化检测等9大类36子类下游任务，多任务平均精度较...……更多
2023-10-27 11:57:00遥感,一体机,模型,科研,一体,突破
...AI基准设计四大目标以及如何通过并行方法加速大规模预训练模型。为了完整体现郑纬民院士的分享及思考，在不改变原意的基础上，量子位对他的演讲内容进行了编辑整理。关于MEET 智能未来大会：MEET大会是由量子位主办的智...……更多
2023-01-11 05:00:00清华,院士,高性能,人工智能,模型,智能
...场景。在以前，企业想要建一个企业知识库，需要通过预训练或者微调训练大模型，也需要比较高素质的AI人才。当底层的大模型数据每更新一次，都要重新训练或微调，成本也较为昂贵，且可控性和稳定性也很容易下降。另外...……更多
2023-12-21 15:32:00百川,外挂,模型,成本,硬盘,智能
...门控模型控制专家模型的选择和加权混合。简言之，MoE在训练过程通过门控模型实现“因材施教”，进而在推理过程实现专家模型之间的“博采众长”。 图1MoE架构原理示意图1MoE的特征优势是专家化、动态化、稀疏化，在模型研...……更多
2024-11-04 16:00:00研究方向,模型,现状,方向,趋势,研究
一键部署LLM混合精度推理，端到端吞吐比AWQ最大提升6倍！清华大学计算机系PACMAN实验室发布开源混合精度推理系统——MixQ。MixQ支持8比特和4比特混合精度推理，可实现近无损的量化部署并提升推理的吞吐。△图1 MixQ吞吐与已有...……更多
2024-10-22 09:57:00推理,清华,吞吐,精度,混合,模型
只用1890美元、3700 万张图像，就能训练一个还不错的扩散模型。现阶段，视觉生成模型擅长创建逼真的视觉内容，然而从头开始训练这些模型的成本和工作量仍然很高。比如 Stable Diffusion 2.1 花费了 200000 个 A100 GPU 小时。即使研...……更多
2024-07-30 09:37:00从头,模型,训练,参数,掩蔽,训练
...晶圆级AI芯片WSE-3，性能达到了上一代WSE-2的两倍，可用于训练业内一些最大的人工智能模型。在近日的Hot Chips 2024大会上，Cerebras Systems详细介绍了这款芯片在AI推理方面的性能。根据官方资料显示，WSE-3依然是采用了一整张12英寸...……更多
2024-09-02 13:36:00晶圆,芯片,生成,模型,性能,参数
...模型则进一步推动架构的发展，强调不断压缩更大规模AI训练与推理工作负载的处理成本。英伟达公司超大规模与HPC副总裁IanBuck在大会前的简报中解释道，“在过去的2023年，我们经历了多模态生成式AI的诞生，文本到图像、图像...……更多
2024-03-20 02:59:00英伟,制造商,模型,引擎,制造,英伟
...吗？要回答这些问题，我们需要重新思考AI模型的工作和训练方式，尤其是要转换视角，首先考虑底层硬件的物理约束。或许，物理神经网络PNN（physical neural network）就是我们要找的答案。最近，一篇有关PNN训练的综述性论文登...……更多
2024-07-15 09:33:00康奈尔,康奈,耶鲁,剑桥,变革,模型
...界参数规模最大、效果最好的开源MoE大语言模型，采用7T训练tokens，总参数量389B，激活参数量52B，上下文长度高达256K，技术报告也同步发布。混元-Large包括三款模型：Hunyuan-A52B-Pretrain，Hunyuan-A52B-Instruct和Hunyuan-A52……更多
2024-11-06 09:41:00模型,腾讯,全家,生成,同时,语言
...，从而解决了这些问题。该团队采用了分块蒸馏过程，即训练更小、更高效的学生模型（student model），以模仿更大的教师模型（teacher model）的功能。通过完善这些学生模型并评估其性能，英伟达开发出了 Llama-3.1 版本，在大幅...……更多
2024-09-26 09:49:00英伟,模型,模型,英伟,精度,内存
...真实世界的空间，借助LGM模型实现「空间智能」。LGM模型训练，图/Niantic用全球玩家数据打造的「地理空间大模型」正如Niantic在新闻稿中提到的，即使是当今最先进的AI模型也难以可视化和推断场景中的缺失部分，或从新的角度...……更多
2024-11-22 14:05:00高精,模型,眼镜,地理,地图,开发
...积累，大型企业拥有的丰富私有数据资源，对于大模型的训练至关重要。大型政企由于其业务特点，更倾向于将数据留在本地，确保“数据不出域”。因此，基于混合云的大模型将成为未来行业大模型的重要部署形态，既满足业...……更多
2023-11-30 15:08:00华为,混合,模型,升级,智能,行业
更多关于科技的资讯：
快科技12月23日消息，吉利控股集团总裁、吉利汽车集团董事长、极氪智能科技CEO安聪慧在群访中透露，极氪与领克已于今年11月完成战略整合
2024-12-23 16:03:00
多层厚铜PCB在电子产品中扮演着至关重要的角色，尤其是在高电流和高可靠性应用中。然而，制造过程中，厚铜PCB有时会出现起泡现象
2024-12-23 16:03:00
本文转自：人民网-安徽频道近日，滁州学院公布校内机构调整设置显示，该校人工智能学院（应急管理学院）正式成立。此前，在11月23日举行的滁州学院高质量特色发展研讨会上
2024-12-23 16:11:00
在众多加盟品牌中，塔斯汀中国汉堡以其独特的培训体系脱颖而出。通过7大培训基地和14省份标准培训店的覆盖，塔斯汀为创业者提供全周期服务
2024-12-23 16:12:00
缅甸国内网络使用费用上涨，因此很多通过上网学习和工作的人遇到困难。一名需要通过网上学习的女性称，以前每月购买的无限流量是15000缅币30G
2024-12-23 16:12:00
本文转自：人民网-黑龙江频道人民网哈尔滨12月23日电 （尚城）12月23日，2025年第九届亚冬会执委会召开哈尔滨2025年第九届亚洲冬季运动会第二场筹办工作新闻发布会
2024-12-23 16:13:00
本文转自：人民网-安徽频道天线转台，是用于支撑和调整雷达天线或反射面的位置和方向的大型传动构件。它主要由转盘，电机、减速器
2024-12-23 16:20:00
春节申遗成功，进一步增强了大众对春节文化的认同感和自信感，也让无数人对春节满怀憧憬与期待。据艾媒咨询发布的《2024年中国新春礼盒消费者行为洞察报告》显示
2024-12-23 16:20:00
消费日报网讯（记者 马佳丽）12月19日至21日，第二届中国乳酸菌饮品向上盛典暨吾尚新工厂正式投产仪式在杭州隆重举行。此次盛会汇聚了来自全国各地的数百名吾尚优秀经销商代表与行业大咖
2024-12-23 16:21:00
本文转自：人民雄安网人民网雄安12月23日电 （记者李雪晴）2024开源无线生态峰会日前在雄安新区举办，中国移动集团研究院技术专家王楚天在会上提到
2024-12-23 16:26:00
23日，抖音为进一步保障用户安全，推出一款名为“验证助手”的小工具，旨在帮助用户精准识别和验证来电号码、短信内容以及网址链接是否来自抖音官方
2024-12-23 16:32:00
过去两天，蔚来再次成为话题制造机。NIO Day 2024现场，蔚来发了两款新车，其一是价格78.8万的ET9，这款车是蔚来造车十年的旗舰产品
2024-12-23 16:33:00
快科技12月23日消息，今日，“微信派”公众号宣布，微信新功能——视频号评论区斗图上线，在评论区可以发表情包了。据了解
2024-12-23 16:33:00
快科技12月23日消息，今天下午，天玑8400正式亮相。REDMI总经理王腾登台并宣布，REDMI Turbo 4全球首发天玑8400-Ultra移动平台
2024-12-23 16:33:00
蒂姆 · 鲍威尔（Tim Powell）是一位潜水爱好者，在 2010 年的时候，他上传了一个视频，在约 20 米的海洋里
2024-12-23 16:33:00