• 我的订阅
  • 头条热搜
中国移动智算中心(青岛)正式启用
...力保障,创新性引入RDMA技术,参数网络带宽达200GB,数据吞吐量达TB/s级,为大模型带来极致通信效率,最短训练时间。青岛节点采用双平面算力设计,依托移动云自研智算平台和国内顶尖算法调优队伍,可支撑超大规模、超高...……更多
ai生命周期:ai训练和ai推理的完美结合
...提高卷积和矩阵乘法的速度,尤其是BF16数据类型可提高吞吐量,避免INT8数据的量化风险,而且还是双周期的256位流水线设计,效率和能效都更高。比如更强大的内存与I/O,包括引入DDR5内存并支持多达12个通道,以及多达128条PCIe...……更多
双模卫星通话、70亿参数大模型......OPPO提前发布了一大波Find X7系列新技术
...CC和高隔离度技术,OPPO可以进一步提升超级低频四天线的吞吐量并降低网络延迟。通过对低频天线进行了特殊设计,OPPO还改善了手持状态下的手机信号状况,实现了最高7dB,平均3dB的信号强度提升。智慧通信技术还为FindX7系列...……更多
检索总结能力超博士后,首个大模型科研智能体PaperQA2开源了
...。 检测文献中的矛盾由于 PaperQA2 可以比人类科学家探索吞吐量高得多的科学文献,因此研究者推测可以部署它来系统地、大规模地识别文献中矛盾和不一致的地方。矛盾检测是一个「一对多」问题,原则上涉及将一篇论文中的...……更多
腾讯推出 Hunyuan-Large 开源大模型
...2B-Instruct和Hunyuan-A52B-Instruct-FP8。并发布了技术报告和训练推理操作手册,详细介绍了模型能力和训练与推理的操作。其中模型技术优势如下:高质量合成数据:通过合成数据增强训练,Hunyuan-Large能够学习到更丰富的表示,处理...……更多
错误率从10%降至0.01%,领英全面分享LLM应用落地经验
...觉非常有效,但需要从未见过的 token,因此增加了延迟。吞吐量与延迟:运行大型生成模型时,通常会出现 TimeToFirstToken (TTFT) 和 TimeBetweenTokens (TBT) 随着利用率的增加而增加的情况。成本:GPU 集群不易获得且成本高昂。一开始我...……更多
2023年度“星河产业应用创新奖”揭晓,国网智研院、宝马等10家企业项目获奖
...场景下的优异表现,持续探索在相同的硬件条件下实现高吞吐量(tokens/s)的输出,更好地支撑大模型实际应用。成都西交智汇基于⻜桨和文心大模型打造的中学实验操作教考智评系统,实现实时采集多模态数据,进而评价实验操...……更多
山东移动:坚持科创引领,乘“数”而上焕新能
...产线智能改造,实现生产线远程监控与智能运维,上下行吞吐量分别超18Gbps和40Gbps,结合国密SM4算法保障通信安全,解决超高清视频实时回传难题。建设智能化“万兆景区”,赋能文旅产业智能升级。山东移动积极在泰安、青岛、临...……更多
如果MaaS是个伪命题 大模型时代的“云”应该怎么建?
...参数的生成式大模型进行了优化,与一代 Inferentia 相比,吞吐量提高了 4 倍,延迟降低了 10 倍。训练侧的加速芯片 Trainium 也同样升级到二代,专门针对超 1000 亿甚至万亿参数模型的深度学习训练打造。在成本侧,众所周知云计...……更多
智算闪耀启幕,中国移动智算中心(青岛)为千行百业注智赋能
...力保障,创新性引入RDMA技术,参数网络带宽达200GB,数据吞吐量达TB/s级,为大模型带来极致通信效率,最短训练时间。依托移动云自研智算平台和国内顶尖算法调优队伍,可支撑超大规模、超高复杂度的模型训练、推理全场景...……更多
chatgpt低成本复现流程开源
...。相比原生PyTorch,单机训练速度最高可提升7.73倍,单卡推理速度提升1.42倍,仅需一行代码即可调用。对于微调任务,可最多提升单卡的微调模型容量3.7倍,同时保持高速运行,同样仅需一行代码。要知道,ChatGPT火是真的火,...……更多
天翼云第八代升级款弹性云主机亮相
...代升级款弹性云主机内置的加速引擎,能够提高微服务的吞吐量,同时通过数据保护与压缩加速技术(英特尔QAT)的加解密操作加速实现快速分布式网络通信;在AI场景中,第八代升级款弹性云主机专注AI加速,可以使用户的生成式...……更多
定价15000!老黄重磅发布RTX 5090:世界最小AI超级计算机也来了
...低延迟实时应用和PC及边缘设备;Super在单个GPU上提供高吞吐量和高精度;Ultra为数据中心规模应用设计,精度最高。Cosmos Nemotron视觉语言模型则是结合了英伟达的NIM微服务,可以让开发者构建能分析和响应图像及视频的智能体,...……更多
...层涟漪。3月1日,DeepSeek在知乎上发表题为《DeepSeek-V3/R1 推理系统概览》的文章,全面揭晓V3/R1 推理系统背后的关键秘密。最为引人注目的是,文章首次披露了DeepSeek的理论成本和利润率等关键信息。据介绍,假定GPU租赁成本为2...……更多
谷歌绝地反击:新模型部分能力超GPT-4,Bard将支持中文,打响和微软AI之战
...A3虚拟机和英伟达 H100结合,谷歌云能够提供更大的计算吞吐量和带宽,能够让企业更快开发机器学习模型。谷歌将以多种方式提供A3:客户可以自己运行,也可以将其作为托管服务运行。除自身产品,谷歌还多发布多个AI新产品...……更多
MWC 2024观察:AI+硬件元年来了?
...。此外,这两款显卡还搭载了第四代TensorCoreAI加速技术,吞吐量是上一代的2倍,可应用于深度学习训练、推理等。英伟达表示,搭载RTX500和RTX1000的新款笔记本电脑,将在今年春季上市。 总结:AI重塑智能硬件除了智能手机和PC...……更多
Enfabrica推出全球最快GPU网络接口控制器芯片,获1.15亿美元融资
... GPU 的 AI 集群,从而实现集群中所有 GPU 的最高横向扩展吞吐量和最低的端到端延迟。ACF SuperNIC 的设计目标是用其加速计算结构替代传统的多层网络基础设施,实现计算、内存和网络资源的可组合 AI 结构。据 Enfabrica 的联合创始...……更多
NVIDIA发布全新交换机
...络和NVIDIASpectrum-X800以太网络是全球首批高达800Gb/s端到端吞吐量的网络平台,将计算和AI工作负载的网络性能提升到了一个新的水平,与其配套软件强强联手可进一步加速各种数据中心中的AI、云、数据处理和高性能计算(HPC)应...……更多
最前线 | “凌云驭势 重塑未来”,亚马逊云科技2022 re:Invent中国巡展活动正式开启
...的,与当前一代Amazon EC2 Inf1实例相比,可提供高达4倍的吞吐量,降低多达10倍的延迟,且成本更优,延迟更低。亚马逊云科技还对核心的底层亚马逊云科技SRD网络协议(Scalable Reliable Datagram,可扩展的可靠数据报)进行了创新,...……更多
金山办公宣布与英伟达团队合作,加速wpsai服务
...Triton推理服务器的部署,成功优化GPU利用率,提供高推理吞吐量。相比于CPU其pipeline耗时共下降84%;采用英伟达Triton推理服务器部署,其部署成本节省了23%。▲ WPSAIPPT美化根据金山办公公布的WPSAI最新进展,该产品在PPT中已支持...……更多
开源大模型杀疯了!Mistral新模型三分之一参数卷爆Llama 3.1
...设定了一个新的前沿”。Mistral Large 2尤其擅长代码和数学推理,上下文窗口128k,支持数十种自然语言以及80+编程语言。特别在MMLU上,其预训练版本更是达到了84.0%的准确率。消息一出,Mistral AI联创兼首席科学家第一时间转发,...……更多
...研发中心,专注于算法研发和模型调优,凭借自主创新的推理加速技术,对 DeepSeek全参数版进行软硬件协同深度优化,实现了每秒超6900 Token的超高吞吐率,性能远超行业平均水平,大幅提升了大模型效率。此次入围的算力强基...……更多
chatgpt低成本复现流程来了
...。相比原生PyTorch,单机训练速度最高可提升 7.73倍,单卡推理速度提升1.42倍,仅需一行代码即可调用。对于微调任务,可最多提升单卡的微调模型容量 3.7倍,同时保持高速运行,同样仅需一行代码。要知道,ChatGPT火是真的火,...……更多
清华开源混合精度推理系统MixQ:大模型近无损量化并提升推理吞吐
一键部署LLM混合精度推理,端到端吞吐比AWQ最大提升6倍!清华大学计算机系PACMAN实验室发布开源混合精度推理系统——MixQ。MixQ支持8比特和4比特混合精度推理,可实现近无损的量化部署并提升推理的吞吐。△图1 MixQ吞吐与已有...……更多
美光、SK海力士公布SOCAMM内存模块:尺寸更小 功耗更低
...问大型训练数据集和复杂模型,同时提升推理工作负载的吞吐量。SOCAMM的尺寸为14 x 90毫米,仅为行业标准RDIMM尺寸的三分之一,有助于实现更紧凑、高效的服务器设计。同时,由于采用LPDDR5X技术,SOCAMM的功耗仅为标准DDR5 RDIMM的...……更多
英伟达开源NVLM 1.0屠榜多模态!纯文本性能不降反升
...辨率能力,与NVLM-D相比显著提高了计算效率,在训练中的吞吐量高于NVLM-D动态高分辨率的图块标签NVLM-H使用了与NVLM-D相同的1-D平展图块标签 ,主要区别在于处理位置, 的文本嵌入与视觉嵌入一起集成到门控交叉注意力层中,能...……更多
智谱清言酷睿Ultra专享版发布:无需联网 但必须24+GB内存
...的AI应用,NPU适合持续性的、低负载的AI应用,iGPU适合大吞吐量的AI运算。智谱与Intel深度合作,在本地模型的选择上确保了模型参数、准确性的平衡,同时采用合理的量化技术,确保合理的模型文件尺寸,还在性能调优上选取了...……更多
Sora出现,手机行业将出现大洗牌?
...随视频类大模型Sora出现,谷歌进一步迭代容纳更高文本吞吐量的大模型,AI大模型的演进正在加速。这意味着作为人机交互的重要入口,智能手机的发展也将迎来新阶段。无论从手机硬件本身的计算能力、人机交互的方式,甚至...……更多
英伟达blackwell计算引擎制造商推出的ai模型
...实现了FP4性能,其主要用于提高生成式AI推理工作负载的吞吐量,从而降低这类当红负载类型的处理成本。Buck指出,“Transformer引擎最初是由Hopper所发明,作用是在计算过程中跟踪整个神经网络中各张量的每个层上的准确性与动...……更多
【产业互联网周报】商务部回应荷兰半导体出口管制;美团收购光年之外全部权益;人民大学通报学生信息泄露事件……
...Triton推理服务器的部署,成功优化GPU利用率,提供高推理吞吐量。相比于CPU,其pipleline耗时共下降84%;采用NVIDIA Triton推理服务器部署,其部署成本节省了23%诺基亚贝尔启动工业元宇宙实验室MWC上海展会期间,诺基亚贝尔宣布旗...……更多
更多关于科技的资讯:
不是不想买,是不会用!老年人买保险“数字鸿沟”谁来填?
“我爸今年60岁了,以前对保险没什么概念,这几年随着年龄增长、身体每况愈下,他开始意识到保障的重要性,可投保时犯了难,手机APP字太小
2025-08-22 08:08:00
●黄开典这个暑期,厦门文旅市场热度持续攀升。周杰伦、陈小春等歌手演唱会,乒超联赛等体育赛事陆续“登鹭”,一场场文体盛宴吸引全国各地的观众奔赴而来
2025-08-22 08:47:00
厦门网讯 (厦门日报记者 林露虹)国产钨钢钻头实现重大突破。近日,厦门麦达智能科技有限公司宣布,成功生产出直径仅0.009毫米(9微米)的钨钢钻头
2025-08-22 08:47:00
厦门网讯(厦门日报记者 陈泥)近日,市财政局联合市住房和建设局创新资产推介模式,首次在阿里巴巴资产交易和京东拍卖平台开展资产线上招商推介活动
2025-08-22 08:47:00
近日,中电鑫龙子公司安徽森源电器有限公司(以下简称“安徽森源”)再次凭借优质的产品性能与卓越的服务品质,签约河北瑞丰钢铁集团有限公司(以下简称 “瑞丰钢铁”)“145MW超临界煤气发电”及“170万吨焙烧机”两大关键工程
2025-08-22 09:13:00
现场网络流量激增167%!济宁移动全力保障“山东虾味鲜争霸赛”
大众网记者 刘迪 通讯员 吴广森 济宁报道8月14日至17日,“好客山东・美食争霸赛”第三场单品赛——“虾”路相逢・山东虾味鲜争霸赛在济宁市任城区津多里中心广场举办
2025-08-22 09:16:00
面对国内高端搬家市场日益增长的精细化服务需求,互联网搬家平台“蓝犀牛搬家”于近日宣布,对旗下的日式搬家服务进行重大升级
2025-08-22 09:19:00
新华社《半月谈》聚焦视源机器人:能巡逻、能巡检,四足机器狗已走进日常工作生活
你能想象一只机器狗在步行街巡逻、在变电站巡检、甚至还能帮你“上课”吗?这一切正在成为现实。近日,新华社《半月谈》专访视源股份高层段宇
2025-08-22 09:19:00
菏泽联通客户日:线上线下齐发力,暖心服务获赞无数
齐鲁晚报·齐鲁壹点 宋秋梅 通讯员 陈芳8月 19 日,菏泽联通客户日线下活动再度启程,10 个旗舰厅同步开展,通过提前邀约意向客户
2025-08-22 09:36:00
全省首次应用!十堰布设颗粒物通量激光雷达为空气做“CT扫描”
十堰广电讯(全媒体记者 赵向军 通讯员 叶相成 朱陈沁子)日前,在十堰市张湾区某小区楼顶,市生态环境局布设的一套球形三维扫描颗粒物通量激光雷达
2025-08-22 11:24:00
在方寸电站间磨砺出创新之刃
消费日报网讯(记者 冯举)在攀钢钒能源动力分公司热动专业区发电站,55MW发电机组冷风器冷油器在线反洗及串级节能操作法的成功应用
2025-08-22 11:44:00
从“谷子”到“痛金” IP赋能黄金产业年轻化发展
本报记者 卢 岳 □ 王琦琛根据世界黄金协会数据,2024年中国18岁至34岁消费者已成为黄金首饰消费的主力军。随着年轻人对黄金兴趣回归
2025-08-22 11:44:00
“演唱会+城市”叠加效应激发粉丝经济新活力
本报记者 卢 岳 □ 王琦琛今年夏天,北京仿佛化身为一座名为“MaydayLand”的城市主题公园。五月天“回到那一天”25周年巡回演唱会在鸟巢连开13场
2025-08-22 11:44:00
2025 年 7 月 21 日,聚焦计量检验检测一体化服务的数字化平台 —— 三测计量检测服务平台正式上线运营,该平台由深圳镎普检验技术有限公司主办
2025-08-22 12:21:00
为提振车市消费信心、助推中国汽车品牌向上,汽车之家倾力打造“818全球购车节”活动,树立汽车行业多方协同赋能生态的营销新范式
2025-08-22 14:02:00