• 我的订阅
  • 头条热搜
昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE
...万维宣布开源2千亿稀疏大模型Skywork-MoE,性能强劲,同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来,是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE大模型,也是首个支持用单台409...……更多
江苏移动借力DeepSeek助“数智江苏”提速
...前期需要使用4台价值百万元的服务器,而每秒token的输出吞吐量仅为96个,能满足10个并发场景需求。通过精度调整、优化配置参数,如今只需要2台服务器,就能完成每秒460个token的输出吞吐量,可满足40个并发场景需求。如此一...……更多
苹果大模型,不藏了
...法,来了:先减少闪存传输的数据量,再提高每次传输的吞吐量。先看框架:以手机为例,平时购机时的【12+256G】、【16+512G】,12/16为运行内存,256/512为储存空间。以此类推绝大部分移动设备存储结构,运存空间小,但读取速...……更多
英伟达地表最强,黄教主被称作AI界“霉霉”
...万亿参数AI模型的性能,为每个GPU提供了高达1.8TB/s的双向吞吐量,确保当今最复杂的大语言模型能在多达576个GPU之间实现无缝高速通信。RAS引擎:Blackwell驱动的GPU集成了专用引擎和基于人工智能的预防性维护功能,可确保可靠性...……更多
大模型“免费”送,厂商们图什么?
...悉,DeepSeek可节省42.5%训练成本,减少93.3%的KV缓存,最大吞吐量提高5.76倍。整体而言,DeepSeek-V2消耗的显存(KVCache)只有同级别Dense模型的1/5-1/100。不过,这并不意味着当下大模型行业的价格战十分正常。2024年5月,谈及大模型...……更多
英特尔酷睿Ultra笔记本NPU能力体验
...计算,且NPU在存储方面拥有高带宽、高容量的特性,数据吞吐量大、响应延迟低的特点,对AI应用效率提升起到积极作用。NPU就像一个效率超高的AI计算专家,让你的本本续航更持久的同时,也能流畅运行虚拟背景、实时美颜等...……更多
oppo首个端侧应用70亿参数大模型findx7系列
...CC和高隔离度技术,OPPO可以进一步提升超级低频四天线的吞吐量并降低网络延迟。面向握持对信号强度的影响,OPPO对低频天线进行了特殊设计,构建了OPPO自研手持状态下的信号模型,改善手持状态下的手机信号状况,实现了最...……更多
李开复发布零一万物首款340亿参数大模型Yi
...车通行5509.5万辆,环比下降2.86%;监测港口累计完成货物吞吐量24726.9万吨,环比下降3.88%,完成集装箱吞吐量552.8万标箱,环比下降3.02%;民航累计保障航班10.3万班(其中货运航班4251班,包括国际货运航班2467班,国内货运航班178...……更多
NeurIPS 2024 Oral | 小参数,大作为!揭秘非对称 LoRA 架构性能
...,在复杂多任务领域中展示了出色的扩展能力。2. 能耗和吞吐量分析HydraLoRA 的 “Hydra” 结构如何提高系统效率,降低训练能耗和延迟?如下图所示,该研究从训练能耗和延迟两个方面评估了 HydraLoRA 的系统效率。结果显示,Hydra...……更多
算子开发到推理加速,一位00后开发者的“升级打怪”之旅
...优化,然后利用算子就行脚本编写,从而实现推理加速和吞吐量的提高。”郑辉回忆道。和一个人做算子开发的经历相比,与团队成员协同完成Fastserve策略的过程,让郑辉对团队合作有了更深刻的认识:“一个人可以走的更快,...……更多
英伟达公布未来三年芯片路线图,AI工厂有了操作系统;黄仁勋:算力会继续增长,机器人时代已来
...理系统中,存在两个关键指标(如下图所示):X轴代表吞吐量,是整个工厂每秒生成的Token总量;Y轴代表响应速度,是每个用户体验的Token生成速度。 黄仁勋认为,AI的智能程度与生成的Token数量直接相关,更多的Token意味着更...……更多
安谋科技下代“周易”NPU成功部署DeepSeek-R1:速度高达40 tokens/s
...理优化和硬件算力潜力的挖掘,从而显著提升推理速度和吞吐量。目前,软件栈已支持Llama、Qwen、DeepSeek、ChatGLM、MiniCPM等多种主流大模型,并提供与Hugging Face模型库的对接工具链,方便直接部署主流模型。硬件层面,新一代“...……更多
16家头部大模型公司上海神秘碰头,现场人挤人人人
...优化,与上一代相比,计算性能提高3倍,内存扩大4倍,吞吐量提高了4倍,延迟降低至1/10,并可支持大模型分布推理。Inferentia 2是Amazon EC2中首个推理优化实例,可通过加速器之间的超高速链接支持横向扩展分布式推理。 搭配Sa...……更多
苹果取得技术突破:可在 iPhone 上运行大型语言模型
...键技术绕过限制,从而最小化数据传输并最大化闪存内存吞吐量:窗口化(Windowing):可以将其视为一种回收利用的方法。AI模型不会每次都加载新数据,而是会重复使用部分已处理的数据。这减少了频繁读取内存的需要,让整...……更多
英特尔高宇:推进混合AI算力端侧运行,拥抱AI PC新时代
...ore Ultra处理器率先驱动。未来,英特尔将搭建性能并行和吞吐量适用于融合AI的媒体/3D/渲染的GPU,打造适用于持续的AI和分担AI负载的专用低功耗AI引擎NPU;迭代能够快速响应,适用于轻量级、单次推理的低延迟任务的CPU,相信在...……更多
AI PC是噱头还是更快的马车?
...电脑拥有多达16个核心22个线程,睿频可高达5.1GHz。GPU高吞吐量:GPU非常适合需要并行吞吐量的大型工作负载。酷睿Ultra标配ArcGPU核显,酷睿Ultra7165H包含8个Xe-LPG核心(128个矢量引擎),酷睿Ultra5125H包含7个。而且,这一代核显还支持...……更多
模拟5亿年自然进化史,全新蛋白质大模型ESM3诞生!前Meta老将力作LeCun转赞
...似乎与英伟达紧密合作,训练使用了Andromeda集群,是当今吞吐量最高的GPU集群之一,部署了最先进的H100 GPU和Quantum-2 InfiniBand网络。网页来源:https://andromeda.ai/他们表示「相信ESM3的计算总量是有史以来生物模型之最」。推理蛋白...……更多
苹果AI震撼上线iPhone,进化版Siri却没有ChatGPT!47页技术报告揭秘自研模型
...法。虽然较大的块大小会降低每个权重的有效位数并提高吞吐量,但量化损失也会增加。为了平衡这种权衡,通常将块大小设置为较小的值,如64或32。但在苹果的实验中,团队发现精度恢复适配器可以显著改善这种权衡的帕累...……更多
英特尔发布全新软硬件平台,全速助力企业推进AI创新
...。此外,在Llama7B、70B和Falcon180B大语言模型(LLM)的推理吞吐量和能效方面也展现了出色性能。英特尔Gaudi3提供开放的、基于社区的软件和行业标准以太网网络,允许企业灵活地从单个节点扩展到拥有数千个节点的集群、超级集...……更多
吞吐量30倍提升!NVIDIA秀Blackwell性能:打破MLPerf记录居第一
...lama 3.1 405B基准测试中,与H200 NVL8相比,实现了高达30倍的吞吐量提升。据介绍,在生产环境中,推理部署通常受到两个关键指标的延迟限制:首次响应时间(TTFT)和每个输出令牌的时间(TPOT)。新的Llama 2 70B Interactive基准测试...……更多
一代更比一代强,AI 时代的至强如何为云服务保驾护航?
...x 为例,使用英特尔® QAT 进行数据压缩和证书验证操作的吞吐量最高可提升 5 倍;在 RocksDB 中,使用英特尔® IAA 进行数据压缩读写的吞吐量最高可提升 1.9 倍。提升如此巨大的算力进化幅度,使火山引擎能够使用相同的实例数量...……更多
全球首款 Transformer 专用 AI 芯片 Sohu 登场
...GPU 和其他通用人工智能芯片,同时能耗更低。在 Llama 70B 吞吐量中,Sohu 每秒可处理超过 50万个 tokens,让用户可以构建 GPU 无法实现的产品。Sohu 能够实现实时语音代理、毫秒级处理数千字文本、更强大的代码树搜索、并行比较...……更多
跨越算力鸿沟丨星凡科技2024AI算力集群产品发布会圆满成功
...速工具包、异构算力工具包、模型适配工具等,输出数据吞吐量提升60%,并发访问提升23%,充分利用异构算力、释放极致性能。3.星瀚LMOps内的算力服务百宝箱为算力中心提供大模型训练、异构算力调度工具、SaaS+MaaS服务管理工...……更多
本周硅谷发生了什么?|苹果Vision Pro正式开售;Neuralink完成人类脑机接口植入;字节Coze国内版上线;
...本较低是2B模型的优势之一,目前MiniCPM-2B在CPU(比GPU计算吞吐量低)上就能跑起来,相较于用GPU才能运行的大模型,能够降低推理成本。据官方数据,MiniCPM的推理成本仅Mistral的1/100,GPT-4的1/360。科大讯飞发布全民开放大模型星...……更多
CITE2024,昇腾硬核实力打造极致体验,宝德斩获创新大奖
...腾AI处理器,PR410EI能够提供业界领先的超强算力和超高的吞吐量,从而高效地完成各种训练和推理任务,提升工作效率。它集成多元模块,提供完备的SOC功能,通过AI处理器优化神经网络计算流程与算法,加速深度学习模型的训...……更多
中国移动智算中心(青岛)正式启用
...力保障,创新性引入RDMA技术,参数网络带宽达200GB,数据吞吐量达TB/s级,为大模型带来极致通信效率,最短训练时间。青岛节点采用双平面算力设计,依托移动云自研智算平台和国内顶尖算法调优队伍,可支撑超大规模、超高...……更多
ai生命周期:ai训练和ai推理的完美结合
...提高卷积和矩阵乘法的速度,尤其是BF16数据类型可提高吞吐量,避免INT8数据的量化风险,而且还是双周期的256位流水线设计,效率和能效都更高。比如更强大的内存与I/O,包括引入DDR5内存并支持多达12个通道,以及多达128条PCIe...……更多
双模卫星通话、70亿参数大模型......OPPO提前发布了一大波Find X7系列新技术
...CC和高隔离度技术,OPPO可以进一步提升超级低频四天线的吞吐量并降低网络延迟。通过对低频天线进行了特殊设计,OPPO还改善了手持状态下的手机信号状况,实现了最高7dB,平均3dB的信号强度提升。智慧通信技术还为FindX7系列...……更多
检索总结能力超博士后,首个大模型科研智能体PaperQA2开源了
...。 检测文献中的矛盾由于 PaperQA2 可以比人类科学家探索吞吐量高得多的科学文献,因此研究者推测可以部署它来系统地、大规模地识别文献中矛盾和不一致的地方。矛盾检测是一个「一对多」问题,原则上涉及将一篇论文中的...……更多
腾讯推出 Hunyuan-Large 开源大模型
...2B-Instruct和Hunyuan-A52B-Instruct-FP8。并发布了技术报告和训练推理操作手册,详细介绍了模型能力和训练与推理的操作。其中模型技术优势如下:高质量合成数据:通过合成数据增强训练,Hunyuan-Large能够学习到更丰富的表示,处理...……更多
更多关于科技的资讯:
丰台怡海中学无人驾驶实训教学项目落地
11月28日,AI驭见未来——怡海教育&加州伯克利大学机器人自动驾驶大赛ROAR实训基地揭牌仪式在北京市丰台区怡海中学(北校区)举行
2025-12-02 12:04:00
●杨炯上周末,在珠海的亚洲通航展上,奥捷龙航空科技有限公司格外引人注目。虽然已多次到珠海参展,但这次它“来自厦门”。这一全球市场份额第一的德国旋翼机品牌
2025-12-02 08:18:00
博物馆进入“沉浸时代”,感官残障观众如何“入场”
视障文化博物馆“触摸文明”展厅。中青报·中青网记者 李怡蒙/摄如今,许多博物馆将视觉、听觉、触觉等多种感知方式融合,创造出多层次
2025-12-02 05:43:00
烟台联通举办客服人员心理健康专题讲座
胶东在线12月1日讯为加强对一线客服员工的人文关怀,帮助员工有效应对工作压力,提升情绪管理与自我调适能力,11月26日
2025-12-02 06:42:00
摘要:本文分析现代物流网络布局与供应链弹性提升的内在关联,探讨节点布局合理性、线路连接多样性、资源整合协同性对供应链冗余能力
2025-12-02 07:09:00
摘要:本文聚焦管理会计在企业战略决策中的应用,首先解析其与战略决策的内在关联,即通过整合财务与非财务信息,为战略制定提供系统性支持
2025-12-02 07:10:00
中国网12月2日讯 据国家安全部官微消息,国家安全部提示,SDK(软件开发工具包)是一套为特定软件框架、硬件平台或操作系统提供的开发工具集合
2025-12-02 07:26:00
全球首创全动压空气轴承产业化成果发布,开启高端制造新纪元
北京讯—— 2025年11月28日,“全球首创全动压空气轴承产业化成果发布会”在北京首钢园香格里拉酒店圆满落幕。此次盛会标志着我国在超精密制造领域取得了重大突破
2025-12-02 07:32:00
联通超清电视狂欢双十一,临沂IPTV用户喜获iPhone17豪礼
鲁网12月1日讯一年一度的双十一购物狂欢盛宴圆满收官,在这场全民消费热潮中,山东联通精心策划的“双十一福利再升级”活动脱颖而出
2025-12-01 11:12:00
千里运荔藏巧思 现代加盟终端拓新局
“就算失败,我也想知道,自己倒在距离终点多远的地方。”电视剧《长安的荔枝》中这句掷地有声的台词,精准道出了当下创业者选择加盟之路时的执着与忐忑
2025-12-01 12:23:00
赛事总奖金160万元!WCI国际冠军赛苏州完美收官
2025年坦克世界国际冠军赛(WCI)11月30日在苏州阳澄国际电竞馆落下帷幕。来自中国、欧洲、北美和亚太地区的八支顶尖战队经过激烈角逐
2025-12-01 13:58:00
2025年北京市中小学生电子与信息创意实践活动圆满举行
当AI小球听懂指令,当智能车驰骋赛场,当电路在指尖点亮创意……孩子们像科学家一样思考,像工程师一样实践。11月30日,2025年北京市中小学生电子与信息创意实践活动在北京市第十四中学(畿辅校区)火热开幕
2025-12-01 14:26:00
烟台联通创新应用高压直流供电技术 破解高铁5G基站供电瓶颈
胶东在线12月1日讯在青烟威荣高铁5G覆盖扩容工程建设中,烟台联通成功应用高压直流供电技术创新方案,有效解决了牟平北山隧道西口
2025-12-02 05:00:00
海尔智慧家庭成立创新实验室布局好房子住居生态
海尔智慧家庭战略持续强化、开放和加速布局,又交出新成果。11 月 28日,以“AI 新纪元 共筑智慧家”为主题的海尔智慧家庭生态创新研讨会在北京召开
2025-12-01 14:51:00
海尔智慧家庭新成果:2025物联网大会斩获两项大奖
海尔智慧家庭持续强化、开放并加速智慧居住领域战略布局,如今再添重磅新成果。11 月 29 日,在首届全球万物智联数字经济可持续发展大会暨2025(第十届)世界物联网大会上
2025-12-01 14:51:00