- 我的订阅
- 头条热搜
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
...VLM 仅使用 1200 个 tokens，而 Qwen2-VL 则使用 1.6 万个 tokens。吞吐量SmolVLM 在 MMMU、MathVista、MMStar、DocVQA 和 TextVQA 等多个基准测试中表现出色，且处理速度相比较 Qwen2-VL……更多
2024-11-28 09:47:00推理,模型,参数,模型,吞吐量,吞吐
...密集模型进行了比较，使用相同的硬件测量了它们的训练吞吐量。
尽管MoE总的参数量是密集模型的六倍多，但在实验中达到了超过80%的相对吞吐量，证实了使用GRIN MoE方法的模型具有显著的计算扩展潜力。（PS：密集模型的吞吐...……更多
2024-11-12 09:57:00专家,微软,路径,模型,模型,专家
...系统能够高效处理大量的数据，而CPU的强大计算能力和高吞吐量特性可以很好地满足要求，能够确保推理任务的快速完成。英特尔的测试数据也验证了千帆大模型平台团队的发现，其通过测试证明，单台双路CPU服务器完全可以轻...……更多
2024-07-11 16:45:00正在,时代,模型,推理,英特,英特尔
...i 2，对70亿参数、720亿参数的通义千问2模型的推理和微调吞吐量进行了基准测试，以下为详细性能指标和测试结果：70亿参数通义千问2在单颗Gaudi 2加速器上的推理720亿参数通义千问2在八颗Gaudi 2加速器上的推理通义千问2 FP8在Gaud...……更多
2024-07-18 14:57:00三条,通义,阿里,模型,参数,通义
...，MixCon 仍能保持较小的 KV 缓存优势（如表 1 所示）。在吞吐量方面，处理长序列时，Conba 层计算效率更高，增加其比例可提高整体吞吐量。基本配置单位是 MixCon 块，由 Conba 或注意力层组合而成，每个层包含注意力模块或 Conba ...……更多
2024-10-16 13:34:00序列,架构,北大,混合,团队,性能
...果——记忆能力提升3倍、速度提升7倍的同时，实现推理吞吐量的5倍提升。 至于为何另辟蹊径，寻求非Transformer的大模型路径，岩芯数智CEO刘凡平指出，以大规模著称的Transformer，在实际应用中的高算力和高成本，让不少中小型...……更多
2024-01-29 06:31:00模型,机制,公司,模型,架构,岩芯
...领先扩散模型Flux-12B，Sana-0.6B不仅参数小12倍，重要的是吞吐量飙升100倍。以后，低成本的内容创作，Sana才堪称这一领域的王者。下面来看个更复杂的：一艘海盗船被困在宇宙漩涡星云中，通过模拟宇宙海滩旋涡的特效引擎渲染...……更多
2024-10-18 09:49:00英伟,清华,架构,大片,性能,笔记本
...1/100，GPT-4的1/360。据介绍，目前MiniCPM-2B在CPU（比GPU计算吞吐量低）上就能跑起来，相较于用GPU才能运行的大模型，能够降低推理成本。与此同时，即便将大小压缩75%，MiniCPM的性能也能做到基本无损耗。在性能上，MiniCPM-2B的中文...……更多
2024-02-03 16:03:00适配,推理,模型,主流,成本,智能
...达3400万刀。当时Sohu号称LLM推理性能达到H100的10倍，单价吞吐量更是高达140倍。而就在刚刚，Etced又宣布了炸裂的新消息：已筹到1.2亿美元。
就在上周，英伟达的市值达到3.3万亿美元，超过微软成为全球第一。而Etched相信，自己...……更多
2024-06-27 09:25:00小哥,英伟,哈佛,华裔,推理,芯片
...多GPU推理方法是在多个GPU上进行计算，以获得低延迟和高吞吐量，但采用多GPU路线也有其复杂性。多GPU环境中的每个GPU都必须将计算结果发送给每一层的其他GPU，这就需要高带宽的GPU对GPU通信。多GPU推理方法是在多个GPU上进行计...……更多
2024-08-25 06:58:00英伟,平台,英伟,数据中心,桥架,吹风会
...以 KVCache 为中心的 PD 分离和以存换算架构，提升了推理吞吐量。近日，为了进一步加速该技术框架的应用与推广，月之暗面 Kimi 和清华大学 MADSys 实验室联合 9#AISoft、阿里云、华为存储、面壁智能、趋境科技等共同发布开源项目...……更多
2024-11-29 09:22:00清华大学,清华,推理,架构,模型,联合
...究者通过每秒生成的 token 数来评估 Memory3 的解码速度或吞吐量。了解更多内容，请参考原论文。 ……更多
2024-07-11 09:33:00维南,领衔,院士,新作,模型,存储
...能力。GPU 有很好的批处理能力（比如从 BS1 到 BS16)，可将吞吐量提高 12 到 15 倍。比如在上图中，当 decoder0 在进行批处理运算时，可以同时从 HBM 读取 decoder1 的参数。
SambaNova 的研究者观察到，SN40L 在 Llama 3.1 70B ……更多
2024-10-21 09:55:00英伟,霸主,推理,模型,地位,时代
...开启。客户应用实例方面，IBM watsonx.data平台的网络查询吞吐量提高了2.7倍，Palo Alto Networks的基于深度学习模型的威胁检测性能提升了2倍，Gallium Studios游戏工作室Numenta AI平台的推理性能比GPU云实例提高了多达6.5倍。
拥有28款……更多
2023-12-16 13:49:00英特,英特尔,推理,处理器,性能,处理
...问的内容，模型只会激活不同的专家子模块进行推理，在吞吐量一定的情况下，可以更快地完成推理、给出回答。这让Grok-1拥有了更快的生成速度和更低的推理成本，简而言之就是更好的使用体验和性价比。根据xAI公布的数据，...……更多
2024-08-13 09:50:00马斯,马斯克,测试版,路线,测试,模型
...键值缓存留下大约 28GB 的空间。Feldman 声称，除了极高的吞吐量外，WSE-3 还可以扩展到更高的批量大小。尽管它究竟可以扩展到多大程度并保持每个用户Token的生成率，这家初创公司不愿透露。“我们目前的批次大小经常变化。...……更多
2024-09-02 13:36:00晶圆,芯片,生成,模型,性能,参数
...遵循任务上的表现。训练与推理系统该研究对训练系统的吞吐量、推理系统的延迟以及支持的最大序列长度进行了定量评估。表 2 显示了吞吐量结果。与 ZIGZAG-RINGATTN 相比，本文系统实现了 2.1 倍至 5.7 倍的加速，性能与 DeepSpeed-U...……更多
2024-08-22 09:51:00英伟,准确率,支持,视频,序列,训练
...处理大小为 1 ，硬件采用 H100 GPU 的设置中测量模型生成吞吐量。结果如下图所示，Falcon Mamba 以恒定的吞吐量生成所有 token，并且 CUDA 峰值内存没有任何增加。对于 Transformer 模型，峰值内存会增加，生成速度会随着生成的 token ...……更多
2024-08-14 09:39:00力大,架构,模型,模型,架构,训练
...对此面壁智能也在发布会上进行了展示，不同终端设备的吞吐量各有不同，也正是壁MiniCPM的出现，让用户那怕是一部手机，一个消费级显卡也能在端侧流畅跑通大模型。为了更真实的展示面壁MiniCPM在端侧的处理能力，发布现场...……更多
2024-02-01 21:36:00模型,智能,模型,智能,用户,数据
...k库，对Falcon Mamba和流行的Transformer模型在内存使用和生成吞吐量方面进行了比较。为了公平比较，将所有Transformer模型的词汇大小调整为与Falcon Mamba一致，因为这对模型的内存需求有很大影响。在查看结果之前，先讨论序列中提...……更多
2024-08-14 09:43:00一鸣,霸主,模型,再次,模型,序列
...据传输速度更快。与F32相比，英伟达GPU提供的FP16将算术吞吐量提高了8倍，大幅加快了数学受限层的训练速度。此外，PyTorch团队还着重强调，计算全部是依赖OpenAI的Triton语言执行的。Triton是一种用于编写高效自定义深度学习基元...……更多
2024-09-07 09:48:00新时代,推理,内核,矩阵,乘法,英伟
...些模型。NIM微服务有助于将Llama 3.1模型部署到生产中，其吞吐量最多可比不使用NIM运行推理时高出2.5倍。从ai.nvidia.com即可了解适用于Llama 3.1模型的NVIDIA NIM推理微服务，以加快将Llama 3.1模型部署到生产级AI的速度。
将Llama 3.1 ……更多
2024-07-25 09:30:00代工厂,代工,利器,生成,模型,服务
...更多的计算能力且利用率非常高， 因此可以运行巨大的吞吐量，而不会出现内存带宽瓶颈。软件如何工作在 GPU 和 TPU 上，软件是一场噩梦。处理任意 CUDA 和 PyTorch 代码需要极其复杂的编译器。第三方 AI 芯片（如 AMD、Intel、AWS ...……更多
2024-06-27 09:24:00辍学生,哈佛,芯片,速度,芯片,模型
...万维宣布开源2千亿稀疏大模型Skywork-MoE，性能强劲，同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来，是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE大模型，也是首个支持用单台409...……更多
2024-06-03 20:59:00万维,昆仑,模型,模型,万维,昆仑
...法，来了：先减少闪存传输的数据量，再提高每次传输的吞吐量。先看框架：以手机为例，平时购机时的【12+256G】、【16+512G】，12/16为运行内存，256/512为储存空间。以此类推绝大部分移动设备存储结构，运存空间小，但读取速...……更多
2024-01-06 09:10:00模型,苹果,模型,苹果,数据,处理
...悉，DeepSeek可节省42.5%训练成本，减少93.3%的KV缓存，最大吞吐量提高5.76倍。整体而言，DeepSeek-V2消耗的显存（KVCache）只有同级别Dense模型的1/5-1/100。不过，这并不意味着当下大模型行业的价格战十分正常。2024年5月，谈及大模型...……更多
2024-06-05 10:57:00模型,厂商,模型,企业,成本,商业
...万亿参数AI模型的性能，为每个GPU提供了高达1.8TB/s的双向吞吐量，确保当今最复杂的大语言模型能在多达576个GPU之间实现无缝高速通信。RAS引擎：Blackwell驱动的GPU集成了专用引擎和基于人工智能的预防性维护功能，可确保可靠性...……更多
2024-03-19 11:56:00英伟,地表,教主,英伟,模型,人工智能
...计算，且NPU在存储方面拥有高带宽、高容量的特性，数据吞吐量大、响应延迟低的特点，对AI应用效率提升起到积极作用。NPU就像一个效率超高的AI计算专家，让你的本本续航更持久的同时，也能流畅运行虚拟背景、实时美颜等...……更多
2023-12-24 19:54:00英特,英特尔,能力,笔记本,体验,笔记
...CC和高隔离度技术，OPPO可以进一步提升超级低频四天线的吞吐量并降低网络延迟。面向握持对信号强度的影响，OPPO对低频天线进行了特殊设计，构建了OPPO自研手持状态下的信号模型，改善手持状态下的手机信号状况，实现了最...……更多
2023-12-28 10:13:00模型,参数,应用,技术,模型,芯片
...车通行5509.5万辆，环比下降2.86%；监测港口累计完成货物吞吐量24726.9万吨，环比下降3.88%，完成集装箱吞吐量552.8万标箱，环比下降3.02%；民航累计保障航班10.3万班（其中货运航班4251班，包括国际货运航班2467班，国内货运航班178...……更多
2023-11-07 12:17:00李开复,万物,模型,参数,墨鱼,行业
更多关于科技的资讯：
随时“云端”办公，自由“安放”工位，数字游民社区兴起数字游民在南京：我推着房间找邻居南京首个乡村数字游民社区坐落于浦口草圣书乡景区
2025-09-26 08:14:00
三迭纪项目入选国家药监局智慧监管典型案例年产3亿片！3D打印药片，片片皆可溯源南报网讯（通讯员唐斐记者张希）近日，国家药品监督管理局信息中心正式公布“2025年药品智慧监管典型案例”
2025-09-26 08:14:00
二〇二五年中国香料香精化妆品精品博览会启幕十七个香妆产业创新转化项目签约南报网讯（记者夏思宇）9月25日上午，2025年中国香料香精化妆品精品博览会在南京扬子江国际会议中心开幕
2025-09-26 08:15:00
厦门网讯（厦门日报通讯员 李汶鸿）24日，在上海市普陀区普熙金融广场PUSH艺术中心举办的“数字人民币国际运营中心业务平台推介会”上
2025-09-26 08:38:00
在智能语音机器人赛道，技术稳定性与迭代能力是核心竞争力，神州泰岳旗下鼎富智能avavox大模型语音机器人依托两大技术优势
2025-09-26 08:52:00
近日，烟台联通在客户日活动中面向VIP客户创新开展急救知识培训公益增值服务，邀请中国红十字会专业急救讲师现场授课，通过“理论+实操”相结合的方式
2025-09-26 09:24:00
近日，由中交一公局集团建筑公司武清城改项目申报的《BIM+智能设备在大型城中村改造项目施工阶段的应用》凭借在特大型群体住宅工程的应用实践
2025-09-26 10:49:00
中新经纬9月26日电 9月25日，小米集团创始人、董事长兼CEO雷军在年度演讲上回顾了小米汽车造车历程。雷军提到，今年6月
2025-09-26 10:54:00
近日，头部房产经纪企业我爱我家正式启动主题为“好邻·好礼·好生活”的2025我爱我家社区好邻节。据介绍，本次活动从9月22日至10月31日
2025-09-26 11:24:00
9月25日，小米公司创始人雷军在年度演讲中宣布推出一项独特的服务——小米定制服务。雷军表示，小米YU7是为一群高审美，无法容忍平庸的人设计的
2025-09-26 11:37:00
9月25日，在年度演讲暨秋季新品发布会上， 小米推出了首款三区洗衣机——米家三区洗衣机Pro 滚筒10kg，售价3999元
2025-09-26 11:38:00
华为鸿蒙折叠电脑MateBook Fold非凡大师的上市成为改写高端笔记本市场格局的关键事件。根据GFK 2025年6月统计
2025-09-26 11:38:00
鲁网9月26日讯（记者 李晓晨）从算力之巅的超级计算中心到家庭智能的创新终端，从芯片封装的关键环节到水处理技术的自主研发
2025-09-26 12:03:00
在摄影配件行业，“速生速死” 是常态 —— 产品迭代快、价格战频发，多数企业陷入内卷困境。而深圳市唯迹科技有限公司却走出了一条 “反常识” 的发展路径
2025-09-26 12:07:00
让AI规划假期行程，告别烧脑做攻略比价；戴上耳机，和自己的专属AI讲解员一起边逛边聊，拍展品听讲解，拍景点听典故，拍建筑听历史……这种全新的旅行体验
2025-09-26 12:08:00