- 我的订阅
- 头条热搜
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
一键部署LLM混合精度推理，端到端吞吐比AWQ最大提升6倍！清华大学计算机系PACMAN实验室发布开源混合精度推理系统——MixQ。MixQ支持8比特和4比特混合精度推理，可实现近无损的量化部署并提升推理的吞吐。△图1 MixQ吞吐与已有...……更多
2024-10-22 09:57:00推理,清华,吞吐,精度,混合,模型
...以通过语音识别技术被录入到病例系统中，随后大模型AI推理技术辅助进行智能总结和诊断，医生们撰写病例的效率显著提高。AI推理的应用不仅节省了时间，也保护了患者隐私；在法院、律所等业务场景中，律师通过大模型对...……更多
2024-07-11 16:45:00正在,时代,模型,推理,英特,英特尔
...8卡H800上训练LLaMA2-7B，Colossal-AI FP8对比Colossal-AI BF16有35%的吞吐提升，对比Torch FSDP BF16有94%的吞吐提升。在单机8卡H800上训练LLaMA2-13B，Colossal-AI FP8对比Colossal-AI BF16有39%的吞吐提升……更多
2024-09-26 13:34:00训练,精度,一行,混合,模型,成本
...仅解码器LLM）作为文本编码器，以增强对提示词的理解和推理能力。尽管T2I生成模型多年来取得了显著进展，但大多数现有模型仍依赖CLIP或T5进行文本编码，这些模型往往缺乏强大的文本理解和指令跟随能力。与CLIP或T5不同，Gem...……更多
2024-10-18 09:49:00英伟,清华,架构,大片,性能,笔记本
...任务，这一基础模型应该具备感知万物、知晓常识和理解推理的能力，智能驾驶、机器人的基础模型本质上是同一类基础模型。 端到端与大模型上车进行时 智能汽车是迈向通用机器人的必要阶段 近年来，智驾系统正在从传统...……更多
2024-07-22 13:00:00超星,梁爽,软硬,新时代,模型,超星
...环境，可支持超千卡规模、千亿参数级别的大模型训练和推理任务，旨在突破算力瓶颈，加速AI算力的国产化进程。国产千卡智算集群采用软硬件一体化的架构设计，提供低延迟、高吞吐、高可用的IB组网环境，支持GDR技术，使...……更多
2024-06-27 19:01:00集群,落地,模型,国产,训练,支持
...智能计算的“潜力股”，为后摩尔时代带来新的希望。
推理和训练是 AI 大模型核心能力的两个重要阶段，正是看到了这一点，该团队在推理和训练方面进行了同期的并行研究。今年 4 月，他们在 Science 报道了通用智能光计算芯...……更多
2024-08-09 09:57:00量级,清华,架构,个数,团队,速度
...PyTorch官宣，借助OpenAI开发的Triton语言编写内核来加速LLM推理，可以实现和CUDA类似甚至更佳的性能。试问，有多少机器学习小白曾被深度学习框架和CUDA的兼容问题所困扰？又有多少开发者曾因为频频闪烁的警报「CUDA版本必须与...……更多
2024-09-07 09:48:00新时代,推理,内核,矩阵,乘法,英伟
...算效率和算力开销两大问题成为新的行业焦点。对大模型推理成本的优化，可通过很多技术手段实现。首先是模型本身，模型结构、训练方法都可以持续改进，包括业界很关注的MoE(混合专家模型)，就是优化推理成本很好的解决...……更多
2024-06-03 14:07:00模型,效率,成本,模型,推理,成本
...存储空间和计算资源就会减少。不过这也意味着，在执行推理时，需要进行混合精度的矩阵乘法运算（mpGEMM），即用低精度的权重和高精度的激活向量进行计算。然而，现有的系统和硬件并不原生支持这种混合精度的矩阵乘法，...……更多
2024-08-10 09:52:00新技,微软,提速,新技术,模型,手机
...精度，还显著降低了计算负担，完美解决了时序大模型在推理阶段的计算瓶颈。2. 灵活的预测范围：Time-MoE支持任意长度的输入和输出范围，能够处理从短期到长期的各种时序预测任务，实现了真正的全域时序预测。3. 全球最大...……更多
2024-10-23 09:55:00时序,模型,团队,训练,参数,突破
...在一系列标准学术基准测试中评估 Conba 性能，包括常识推理任务（如 HellaSwag、WinoGrande、ARC - E、ARC - Challenge）、阅读理解任务（如 BoolQ、QuAC）、聚合基准测试（如 MMLU、BBH），采用不同的学习策略。MixCon 性能与类似或更大……更多
2024-10-16 13:34:00序列,架构,北大,混合,团队,性能
...的「我在飞」，进一步询问的话，此外，video-SALMONN还能推理出男人的名字是「杰克」。我们都知道，正是这两句对白成就了这个经典场景，而video-SALMONN恰恰抓住了这个场景的精髓所在！再来一段《疯狂动物城》的动画片段：看...……更多
2024-08-01 09:45:00模态,清华,领衔,模型,视频,音视
...来越多，数据中心将需要更多的计算和更低的延迟。多GPU推理方法多GPU推理方法是在多个GPU上进行计算，以获得低延迟和高吞吐量，但采用多GPU路线也有其复杂性。多GPU环境中的每个GPU都必须将计算结果发送给每一层的其他GPU，...……更多
2024-08-25 06:58:00英伟,平台,英伟,数据中心,桥架,吹风会
...能上有着显著的增强，还结合大容量末级缓存使AlphaFold2推理过程中关键的张量吞吐获得了大幅提升。 英特尔®至强®CPUMax系列处理器其次，由于AlphaFold2所采用的深度学习模型规模巨大，推理过程中的张量运算不仅量大，且维度...……更多
2024-07-01 19:47:00人类,英特,英特尔,制药,处理,处理器
...Hot Chips 2024大会上，Cerebras Systems详细介绍了这款芯片在AI推理方面的性能。根据官方资料显示，WSE-3依然是采用了一整张12英寸晶圆来制作，基于台积电5nm制程，芯片面积为46225平方毫米，拥有的晶体管数量达到了4万亿个，拥有90...……更多
2024-09-02 13:36:00晶圆,芯片,生成,模型,性能,参数
...。Intel还采用KV Caching、PagedAttention机制和张量并行，提高推理效率。Intel的硬件也可利用软件框架和工具包进行加速，并获得出色的大模型推理性能，包括PyTorch以及Intel PyTorch扩展包、OpenVINO工具包、DeepSpeed、Hugging F……更多
2024-07-18 14:57:00三条,通义,阿里,模型,参数,通义
...框架降低了大模型训练的门槛，目前正在做大模型分布式推理加速，希望可以帮助其他开发者在生产环境中高效部署在线推理服务。在昇腾AI的生态里，像郑辉这样为大模型浪潮默默贡献自己力量的开发者不胜枚举。他们还不是...……更多
2024-04-27 19:00:00开发,算子,开发者,推理,之旅,升级
...占绝对大头的因素——算力。 现在提及大模型的训练和推理，很多人的第一反应或许就是想到了GPU。诚然GPU在高性能上占据着一定的优势，但它所存在“硬伤”也是比较明显，那便是供应不足、价格昂贵。何以破局？国产大模...……更多
2024-07-10 20:45:00梯队,模型,国产,玩家,模型,英特
...进一步推动架构的发展，强调不断压缩更大规模AI训练与推理工作负载的处理成本。英伟达公司超大规模与HPC副总裁IanBuck在大会前的简报中解释道，“在过去的2023年，我们经历了多模态生成式AI的诞生，文本到图像、图像到文本...……更多
2024-03-20 02:59:00英伟,制造商,模型,引擎,制造,英伟
...发展带来了崭新的机遇,有望通过强大的语义理解和常识推理能力大大提升智能个人代理支持功能的广度和深度。”清华大学助理研究员李元春主题分享中软国际有限公司智能物联网军团产品研发管理部总经理、OpenHarmony项目群技...……更多
2023-11-06 14:46:00终端,模型,趋势,大会,领域,智能
...好，所以要在左上角：
GRIN作为MoE架构，总参数量约42B，推理时激活的参数为6.6B，打同级别（7B）的非MoE模型是手拿把攥，甚至比14B的Phi-3还要略胜一筹。在上面的这份成绩单中，GRIN MoE表现优异，尤其是在编码和数学测试中。...……更多
2024-11-12 09:57:00专家,微软,路径,模型,模型,专家
...，MoE在训练过程通过门控模型实现“因材施教”，进而在推理过程实现专家模型之间的“博采众长”。 图1MoE架构原理示意图1MoE的特征优势是专家化、动态化、稀疏化，在模型研发成本、训练/推理效率和整体性能之间实现最佳...……更多
2024-11-04 16:00:00研究方向,模型,现状,方向,趋势,研究
...实现以超低成本进行量化。它支持多种压缩算法、模型和推理后端，具有强大的扩展性和全方位的评估能力。目前，研究团队已将使用方法放在GitHub主页上，戳文末链接即可获取。Llama3.1 更大也更难压缩低比特量化是解决资源受...……更多
2024-08-05 09:34:00工具包,模型,工具,模型,算法,工具
...长的上下文窗口。但是如果不相应地扩展计算资源，模型推理速度就会变慢，超过一定长度的文本就没法处理了。为了克服这些障碍，状态空间语言模型 (SSLM) 架构应运而生，该架构通过在处理单词时不断更新状态来工作，已成...……更多
2024-08-14 09:39:00力大,架构,模型,模型,架构,训练
...复适配器进行微调，它们不会产生任何额外的内存使用或推理成本。关于适配器的大小，团队发现秩为16的适配器在模型容量和推理性能之间提供了最佳平衡。然而，为了提供更多的灵活性，苹果提供了一套不同秩的精度恢复适...……更多
2024-08-01 09:40:00进化,模型,苹果,报告,技术,苹果
...模型提供一系列可应用于PyTorch框架的算子，加速模型的推理与训练，降低新算法的开发门槛。它以Triton编程语言的易用性和编译器的标准接口为基础，为多元芯片提供了一套易适配、高性能的算子解决方案，推动基于Triton的统...……更多
2024-07-18 22:51:00摩尔,万卡,新进,集群,线程,性能
...办？CMU清华团队提出了Lean-STaR训练框架，在语言模型进行推理的每一步中都植入CoT，提升了模型的定理证明能力，成为miniF2F上的新SOTA。如果想训练LLM证明定理的能力，你会怎么做？既然模型可以通过海量语料学会生成文本，那...……更多
2024-08-10 09:47:00顶新,成数,清华,模型,训练,高手
...计算具备高算力低功耗的特性，能够加速AI大模型训练与推理。戴琼海提到，清华大学提出光电混合全模拟智能计算架构，研制ACCEL芯片，突破光电模数转换瓶颈。相比A100，ACCEL系统级算力提升3个数量级，能效提升6个数量级（百...……更多
2024-04-28 11:00:00大佬,清华,微软,重磅,北京,蚂蚁
姚期智院士领衔，推出大模型新推理框架，CoT“王冠”戴不住了。提出思维图（DiagramofThought），让大模型思考更像人类。团队更是为这种推理过程提供了数学基础，通过拓扑斯理论（Topos Theory）正式化（formalize）DoT，确保其逻...……更多
2024-09-24 13:36:00维图,院士,逻辑,模型,一致,理论
更多关于科技的资讯：
瑞典电动汽车电池制造商Northvolt周四表示，已经在美国申请破产保护。其在声明中指出，目前该公司仍在开展业务，账上拥有约3000万美元的现金
2024-11-22 16:27:00
据媒体周四（11月21日）报道，ChatGPT开发商OpenAI正在考虑开发一款网络浏览器，该浏览器将与聊天机器人结合
2024-11-22 16:27:00
快科技11月22日消息，据报道，近日，受“炸弹气旋”影响，美国、加拿大多地出现大规模断电、水陆交通受阻以及人员伤亡。而炸弹气旋也影响到了一架川航从成都飞往温哥华的航班
2024-11-22 16:57:00
快科技11月22日消息，小米第二款产品是一台纯电SUV，目前这款车正在各地进行动态测试，近日就有网友在高路上偶遇其中一辆
2024-11-22 16:57:00
快科技11月22日消息，微博话题“微信一次性查询所有单删好友”冲上微博热搜榜。有博主分享了一则教程，可通过该教程一次性查询微信所有单删好友
2024-11-22 16:57:00
快科技11月22日消息，据小米官方介绍，昨天下午，来自阿根廷、埃及、奥地利、德国等18个国家驻华使馆的30余位驻华使节和商务负责人走进小米汽车工厂
2024-11-22 16:57:00
快科技11月22日消息，REDMI K80系列将于11月27日发布，与前代K70系列推出三款产品不同的是，今年主打双旗舰
2024-11-22 17:27:00
快科技11月22日消息，在今天凌晨举办的2024“金摇杆”颁奖仪式上，《黑神话：悟空》成功斩获“年度终极游戏”“最佳视觉设计”两项大奖
2024-11-22 17:27:00
快科技11月22日消息，一加科技李杰在一次内部会议上透露，一加新品将搭载一项新技术，该技术是在芯片层级进行系统重构，把游戏功耗做到了行业最低水准
2024-11-22 17:27:00
快科技11月22日消息，随着Z890系列主板开始发售，铭瑄也是带来了全新升级的PTM UI BIOS。PTM UI BIOS借鉴了手机APP的交互逻辑
2024-11-22 17:27:00
快科技11月22日消息，据报道，一架装配中国国产航空子午线轮胎的空客A320飞机在广西桂林两江机场平稳降落。这是国内民航飞机首次装配国产航空子午线轮胎并试飞成功
2024-11-22 17:57:00
近日，CNMO注意到，有第三方汇总了国内各大新能源车企的核心财务指标，发现小米是目前中国现金储备最多的新能源车企，比亚迪则是资产总额和净利润最多的车企
2024-11-22 17:57:00
马斯克在美国得克萨斯州筹备的“学前班”学校即将迎来开学。该校名为“Ad Astra”，在拉丁语中意味飞向星空，以致敬马斯克的星际梦想
2024-11-22 17:57:00
快科技11月22日消息，比亚迪集团-品牌及公关处总经理李云飞今日发文称，网传的比亚迪与蔚来汽车相关的投资及合作信息，为严重不实信息
2024-11-22 17:57:00
《剑星》 x 《尼尔：机械纪元》联动现已正式上线，拍照模式也一并登场，玩家可以自由调整主角伊芙的姿势、装扮，以及各种视觉效果
2024-11-22 17:57:00