- 我的订阅
- 头条热搜
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
2024年，全球主流企业加快推出MoE大模型，1-5月发布千亿以上大模型均采用MoE优化架构，且数量超过近三年总和。MoE大模型架构凭借平衡大模型训推成本和计算效率等优势，更适合处理大规模数据和复杂任务，已成谷歌、OpenAI、...……更多
2024-11-04 16:00:00研究方向,模型,现状,方向,趋势,研究
...家本领，来挤开源赛道，突然发布了市面上最大的开源MoE模型。Hunyuan-Large，3890亿总参数，520亿激活参数。跑分超过Llama 3.1 405B等开源旗舰，上下文长度支持也高出一档来到256k。虽然Hunyuan-Large还不算腾讯内部的旗舰模型，但腾讯...……更多
2024-11-07 09:54:00腾讯,商用,模型,参数,模型,数据
...研究人员，利用延迟掩蔽、MoE、分层扩展等策略，将扩散模型的训练成本降到了1890美元。训练一个扩散模型要多少钱？之前最便宜的方法（Wuerstchen）用了28400美元，而像Stable Diffusion这样的模型还要再贵一个数量级。大模型时代...……更多
2024-08-13 09:42:00文生,高质量,模型,参数,模型,训练
技术：大模型发展呈现“规模定律”，Transformer为技术基座1.1 大模型“大力出奇迹”的背后：Scaling Law大规模语言模型（Large Language Models，LLM）泛指具有超大规模参数或者经过超大规模数据训练所得到的语言模型。与传统语言模...……更多
2024-10-21 10:03:00模型,行业报告,新纪元,报告,发展,行业
...12日消息，360公司日前在GitHub上开源了360智脑7B（70亿参数模型）。360智脑大模型采用3.4万亿Tokens的语料库训练，以中文、英文、代码为主，开放4K、32K、360K三种不同文本长度。360表示，360K（约50万字）是当前国产开源模型文本长...……更多
2024-04-14 01:04:00模型,训练,参数,模型,文本,评测
...球科技公司Yandex推出了YaFSDP，这是一种用于训练大型语言模型(LLM)的开源方法。据介绍，YaFSDP是目前在大型语言模型训练中增强图形处理器（GPU）通信并减少内存使用量的公开可用的最有效工具，与FSDP相比，根据架构和参数数量...……更多
2024-06-18 16:13:00处理器,图形,模型,高达,训练,语言
...EO安迪·贾西(Andy Jass)在接受采访时称，真正优秀的大语言模型需要耗费数十亿美元和多年时间来训练。借助Bedrock，亚马逊旗下云服务AWS将允许开发者访问其自主语言模型Titan，以及创业公司AI21和谷歌支持的AI公司Anthropic的语言模...……更多
2023-04-14 12:00:00亚马,亚马逊,模型,大战,训练,语言
...转自：中国新闻网6月3日，昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE，性能强劲，同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来，是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE...……更多
2024-06-03 20:59:00万维,昆仑,模型,模型,万维,昆仑
1月29日，百川智能发布超千亿参数的大语言模型Baichuan3。在多个权威通用能力评测如CMMLU、GAOKAO和AGI-Eval中，Baichuan3都展现了出色的能力，尤其在中文任务上更是超越了GPT-4。而在数学和代码专项评测如MATH、HumanEval和MBPP中同样表...……更多
2024-01-29 19:57:00百川,模型,语言,智能,模型,百川
...10月31日发布博文，宣布推出首个完全开放的10亿参数语言模型系列AMDOLMo，为开发者和研究人员提供强大的AI研究工具。AMDOLMo模型使用从零开始训练的10亿参数语言模型系列（LMs），在AMDInstinct™MI250GPU集群上训练，使用了超过1.3...……更多
2024-11-09 00:21:00模型,参数,语言,模型,开发者,训练
...许是为了缓解广大网友的热切期待，OpenAI在今天放出了新模型CriticGPT，相当于GPT-4的「拐杖」。我们训练了一个模型CriticGPT，来捕获GPT-4生成代码中的错误。我们开始将此类模型集成到RLHF对齐管道中，以帮助人类监督AI执行困难...……更多
2024-07-01 09:23:00力作,批评,团队,模型,人类,训练
...只用1890美元、3700 万张图像，就能训练一个还不错的扩散模型。现阶段，视觉生成模型擅长创建逼真的视觉内容，然而从头开始训练这些模型的成本和工作量仍然很高。比如 Stable Diffusion 2.1 花费了 200000 个 A100 GPU 小时。即使研...……更多
2024-07-30 09:37:00从头,模型,训练,参数,掩蔽,训练
不必增加模型参数，计算资源相同，小模型性能超过比它大14倍的模型！谷歌DeepMind最新研究引发热议，甚至有人表示这可能就是OpenAI即将发布的新模型草莓所用的方法。研究团队探究了在大模型推理时进行计算优化的方法，根...……更多
2024-09-12 09:58:00模型,参数,模型,训练,测试,时计
...巨头微软或正在研发参数达5000亿的全新AI（人工智能）大模型，将正面叫板谷歌和OpenAI。当地时间5月6日，据外媒报道，微软正在研发一款名为MAI-1的最新AI大模型，其规模远超出微软此前推出的一些开源模型，在性能上或能与谷...……更多
2024-05-07 14:33:00微软,模型,参数,竞争,微软,模型
...开的彻彻底底。这不，Meta一连放出三篇技术文章，从大模型适配方法出发，介绍了：如何使用特定领域数据微调LLM，如何确定微调适配自己的用例，以及如何管理良好训练数据集的经验法则。接下来，直接进入正题。适配大模...……更多
2024-08-27 12:03:00小白,长文,千字,基础,指南,训练
7月20日消息，如今小语言模型开始升温，许多厂商开始推出适用于手机等轻量级设备的“小模型”，本周HuggingFace便公布了“SmolLM”小语言模型家族，其中包含1.35亿、3.6亿及17亿参数模型。据介绍，这些模型号称是以精心策划的...……更多
2024-07-21 01:19:00小语,模型,家族,模型,小语,参数
...武静静编辑｜邓咏仪放弃造车后的苹果，正在加速入局大模型战争。当地时间3月15日，苹果就披露了两个关键大模型动作。其中一个值得关注的是苹果的收购事件。彭博社报道称，苹果已经收购了一家加拿大AI初创公司DarwinAI。...……更多
2024-03-16 18:14:00模型,苹果,参数,焦点,分析,公司
...而，构建一个兼具强大性能与高效运算的大规模时序预测模型始终是一个巨大的挑战。此外，高质量的大型公共时间序列数据库的匮乏进一步加剧了这一难题。近日，由来自普林斯顿大学、格里菲斯大学等全球多地的华人国际科...……更多
2024-10-23 09:55:00时序,模型,团队,训练,参数,突破
...乎「配得上」这个体量？GPT-3.5只有200亿参数？今天，大模型圈都被微软论文中的一纸截图刷爆了，究竟是怎么回事？就在前几天，微软发表了篇论文并挂在了arXiv上，该论文提出了一个参数量只有75M的小规模扩散模型——CodeFusio...……更多
2023-11-04 14:46:00微软,截图,参数,网友,论文,模型
...日，来自微软的研究人员开源了使用全新方法训练的MoE大模型，不走寻常路，且编码和数学表现出色。继Phi家族之后，微软又开源了新的混合专家大模型——GRIN MoE。与Phi-3.5同样的个头（16 * 3.8B），却采用了截然不同的训练方法...……更多
2024-11-12 09:57:00专家,微软,路径,模型,模型,专家
...越人类专家。在性能跃升之外，更重要的是，它揭示了大模型进化范式的转变：通过更多的强化学习（训练时计算）和更多的推理（Test-Time 计算），模型可以获得更强大的性能。这又一次让我们想起 Richard Sutton 在《The Bitter Lesso...……更多
2024-10-21 09:55:00英伟,霸主,推理,模型,地位,时代
2.4B 的 Memory3比更大的 LLM 和 RAG 模型获得了更好的性能。近年来，大型语言模型 (LLM) 因其非凡的性能而获得了前所未有的关注。然而， LLM 的训练和推理成本高昂，人们一直在尝试通过各种优化方法来降低成本。本文来自上海算...……更多
2024-07-11 09:33:00维南,领衔,院士,新作,模型,存储
...东西8月21日消息，今天，微软一口气甩出3款超强轻量级模型！微软本次发布的轻量级模型系列名为Phi-3.5，适合在内存和算力受限的环境中运行，均支持128k上下文长度。Phi-3.5-mini-instruct主要面向基础快速推理任务，Phi-3.5-MoE-instru...……更多
2024-08-22 09:49:00上下文,微软,架构,模型,上下,性能
...然在这个月几乎每周都至少有一家科技大公司入局训练大模型，但OpenAI 却突然改变了方向声称，大模型时代已经要结束了。上周末在麻省理工学院，OpenAI 的 CEO 在演讲中警告称：我们已经处在大模型时代的尾声，并表示如今的 A...……更多
2023-04-20 10:33:00模型,时代,模型,参数,马斯,发展
...所有AI加速卡打造成1个集群，用以支持千万亿级参数的大模型进行训练。这个集群智算中心通过先进的智算网络技术把上万块GPU芯片像“积木”一样拼接在一起，大幅提升GPU节点间的通信效率，将数据训练完成时间缩短20%，从而...……更多
2024-08-31 09:34:00浮点,运算,模型,训练,参数,集群
AI大模型火遍全球，中国产业也激发了对人工智能应用的新热情。随着各大厂商参与竞逐，市场正在分化为通用与垂直两大路径，两者在参数级别、应用场景、商业模式等方面差异已逐步显现。01 企业涌入垂直大模型赛道通用AI...……更多
2023-05-19 14:01:00模型,突破,竞争,数据,模型,数据
快科技7月29日消息，如今的AI大模型规模越来越庞大，动辄成百上千亿参数，训练过程不仅需要数万甚至十几万块GPU加速卡，出错的几率也越来越高。Meta(Facebook)就披露了一份惊人的报告。Meta在报告中披露，为了训练自己的Llama ...……更多
2024-07-29 11:30:00时报,模型,训练,参数,训练,错误
...在话下。
来自中山大学、Pixocial等机构联合发布轻量化模型架构CatVTON。他们是以StableDiffusionv1.5inpainitng为基础模型。来看看更多效果。用扩散模型进行虚拟试衣CatVTON可以实现传统平铺服装图到人物的换装。不管是上衣、裤子、...……更多
2024-08-01 08:52:00架构,模型,优势,模型,训练,模块
...家坚持开源的社交巨头，又默默放出了最新一代的开源大模型Llama3。美当地时间4月18日，Meta在官网上发布了两款开源大模型，参数分别达到80亿和700亿，是目前同体量下性能最好的开源模型。马斯克对此评价称“还不错”。Meta...……更多
2024-04-20 11:00:00马斯,马斯克,李彦,模型,评价,模型
为了保持公司在AI（人工智能）开源大模型领域的地位，社交巨头Meta推出了旗下最新开源模型。当地时间4月18日，Meta在官网上宣布公布了旗下最新大模型Llama 3。目前，Llama 3已经开放了80亿（8B）和700亿（70B）两个小参数版本，...……更多
2024-04-19 15:58:00分水,分水岭,模型,参数,社区,模型
更多关于科技的资讯：
快科技11月25日消息，今日，有博主曝光了蔚来第三品牌萤火虫首车的内饰谍照。从谍照可以看出，萤火虫采用了与乐道L60相同的横屏车机
2024-11-25 18:59:00
快科技11月25日消息，据报道，荷兰莱顿大学的科学家通过对引起疟疾的疟原虫进行一番基因改造后，能够让蚊子携带它们为人类接种疫苗
2024-11-25 18:59:00
【CNMO科技消息】苹果在2024年9月为AirPodsMax带来了USB-C接口和新的颜色选项，据报道，公司不打算对这款耳机进行任何进一步的硬件更新
2024-11-25 19:01:00
【CNMO科技消息】今年，苹果推出了AppleIntelligence，正式迈入AI时代。据彭博社消息，苹果已经推迟了多项原定于明年iOS19更新中推出的功能
2024-11-25 19:01:00
【CNMO科技消息】11月25日消息，据彭博社记者MarkGurman透露，iOS19也会像iOS18一样，采用分批推出的策略
2024-11-25 19:01:00
【CNMO科技消息】近日，彭博社记者MarkGurman揭示了苹果推出超薄iPhone的原因。由于Plus型号的市场反响平平
2024-11-25 19:01:00
【CNMO科技消息】据传，苹果将在明年推出iPhone17Slim（或称iPhone17Air，本文简称“Slim”）
2024-11-25 19:01:00
2024年11月21日，苹果发布了一项关于“App生态系统在中国”的新研究报告。该报告由上海财经大学商学院副教授居恒撰写
2024-11-25 19:02:00
现在的新机啊，是越来越贵了。你没听错，这个听起来多少有点不满地抱怨，确实是从我这个从业资历不浅的老数码人口中说出来的。当然
2024-11-25 19:02:00
ChatGPT之后，AI改造软件就迅速成为了全球的共识，「人工智能将从根本上改变每个软件类别，」正如微软CEO萨蒂亚·纳德拉所言
2024-11-25 19:02:00
海外媒体TheVerge报道称，Sonos计划不久后推出一款电视盒子，搭载由TheTradeDesk公司开发的Ventura操作系统
2024-11-25 19:02:00
要说最近热度最高的苹果设备，既不是刚发布的iPhone16系列，也不是什么AppleWatch，而是在10月29日悄悄上架官网的Macmini（M4版）
2024-11-25 19:02:00
最近机圈的大混战可太激烈了，国产高端旗舰新品陆续登场，接下来的中端市场也有一大波新品来袭，近期有换机打算的朋友可有得挑了
2024-11-25 19:03:00
不难发现，随着AI技术的发展，不少人正在借助AI来改善自己的工作流畅，实现更为高效的生产力办公。而笔记本作为人手必备的移动设备
2024-11-25 19:03:00
近年来，人工智能（AI）技术的迅猛发展让“人人都是开发者”从理念逐步成为现实。在这场技术变革中，智能交互作为人与机器连接的关键领域
2024-11-25 19:05:00