- 我的订阅
- 头条热搜
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
【新智元导读】用英伟达的GPU，但可以不用CUDA？PyTorch官宣，借助OpenAI开发的Triton语言编写内核来加速LLM推理，可以实现和CUDA类似甚至更佳的性能。试问，有多少机器学习小白曾被深度学习框架和CUDA的兼容问题所困扰？又有多...……更多
2024-09-07 09:48:00新时代,推理,内核,矩阵,乘法,英伟
机器之心报道编辑：泽南、杜伟生成式 AI 推理性价比是 GPU 的 140 倍。大模型时代，全球都缺算力，买铲子的英伟达市值被炒上了天。现在，终于有一家公司带着自己的 AI 芯片来叫板了。今天凌晨，科技圈迎来了一个重要新闻...……更多
2024-06-27 09:24:00辍学生,哈佛,芯片,速度,芯片,模型
...元导读】史上最快Transformer芯片诞生了！用Sohu跑Llama 70B，推理性能已超B200十倍，超H100二十倍！刚刚，几位00后小哥从哈佛辍学后成立的公司Etached，宣布再融资1.2亿美元。有史以来最快的Transformer芯片，刚刚诞生了？去年21岁哈佛...……更多
2024-06-27 09:25:00小哥,英伟,哈佛,华裔,推理,芯片
...扩展性更优。据介绍，这款Blackhole AI芯片共拥有768个RISC-V内核，包括16个Big RISC-V内核、752个Baby RISC-V内核，其中大量的Baby RISC-V内核被分别集成在140 个 Tensix 人工智能计算核心当中，241MB的片上SRAM内存和一系列高速连……更多
2024-08-30 09:52:00英伟,芯片,内核,英伟,芯片,以太
...比上一代虚拟机性能更强大，可显著提升AI模型的训练和推理速度。同时，微软选择了第四代英特尔XeonScalable处理器作为新一代计算机处理单元。此外，NDH100v5VM还采用了英伟达Quantum-2ConnectX-7InfiniBand技术，每个GPU可提供400Gb/s的带...……更多
2023-11-21 20:20:00微软,英伟,微软,模型,带宽,速度
...擦出怎样的火花，就很值得期待了。为了科普CPU在AI推理新时代的玩法，量子位开设了《最“in”AI》专栏，将从技术科普、行业案例、实战优化等多个角度全面解读。我们希望通过这个专栏，让更多的人了解英特尔®架构CPU在AI...……更多
2024-07-01 19:47:00人类,英特,英特尔,制药,处理,处理器
...市场瞬息万变，需要实时数据处理和决策支持，大模型的推理涉及到大量的矩阵乘法计算，对硬件的矩阵乘法计算能力提出较高要求，计算复杂性可能导致响应时间延迟，不利于实时应用。加之大模型训练和推理过程需要大量的...……更多
2024-06-28 23:00:00巴菲,巴菲特,模型,故障,金融,技术
...存储空间和计算资源就会减少。不过这也意味着，在执行推理时，需要进行混合精度的矩阵乘法运算（mpGEMM），即用低精度的权重和高精度的激活向量进行计算。然而，现有的系统和硬件并不原生支持这种混合精度的矩阵乘法，...……更多
2024-08-10 09:52:00新技,微软,提速,新技术,模型,手机
...OpenAI 发布了 ο1 系列模型，它那「超越博士水平的」强大推理性能预示着其必将在人们的生产生活中大有作为。但它的使用成本也很高，以至于 OpenAI 不得不限制每位用户的使用量：每位用户每周仅能给 o1-preview 发送 30 条消息，...……更多
2024-09-18 11:44:00研究,矩阵,对称,电路,运算,论文
...为ARM的20%左右，AI性能得到极大提升。目前，世界主流AI推理生态主要包括英伟达的GPU推理生态和X86的CPU推理生态。K1芯片通过复用X86成熟的AI推理软件栈，把底层核心算子改用RISC-VVector和AI指令，其余部分复用CPU推理软件栈，从...……更多
2024-04-29 15:06:00芯片,核心,时空,技术,芯片,志坚
...Mamba模型，并且设计了新的推测解码算法，加速了模型的推理。先来看一张其乐融融的图片（一眼AI）：右边的小羊驼代表Llama，而左边的蛇（Mamba）也是我们的老熟人了。至于到底能不能其乐融融，咱就不管了，之所以有此场景...……更多
2024-09-06 10:01:00推理,更快,性能,模型,输出,训练
...er模型取得了比扩散模型更好的结果，只有900M参数，但在推理时间上比StableDiffusion1.4版本快3倍，比Imagen-3B和Parti-3B快10倍。下图是Muse与DALL・E2和Imagen的生成效果对比：文本-3D模型生成主要代表作有Dreamfusion、Magic3D……更多
2023-01-30 16:34:00生成,模型,新论,代表作,盘点,进展
...些模型在配备GPU的移动设备上实现了迄今为止报道的最快推理延迟。在不使用INT8量化的情况下，对于一张512x512的图片进行20次迭代，StableDiffusion1.4的推理延迟低于12秒。具体是如何实现的呢？GPU感知优化在论文中，研究人员侧重...……更多
2023-04-28 17:14:00出图,速度,手机,模型,研究人员,研究
...；人工智能MCU：脱胎于第一类低功耗MCU，特色是能够将AI推理从云端推向边缘端，可应用于智能家居、人脸打卡、语音控制等应用。
ADI微控制器产品概览围绕MCU产品，ADI还提供了一系列支持资源方便简化用户的设计，包括专业...……更多
2023-01-20 08:49:00加速器,边界,专访,边缘,趋势,硬件
...窗口内的scaling值来估计当前scaling，同时将scaling的更新和矩阵乘法(gemm)融合起来。这种计算方法效率较高，但由于是估算的scaling，所以对收敛性影响较大。
实时scaling直接采用当前的张量值来计算scaling，所以计算效率较低，但...……更多
2024-09-26 13:34:00训练,精度,一行,混合,模型,成本
...用计算能力去释放整个系统的潜力。为了科普CPU在AI推理新时代的玩法，量子位开设了《最“in”AI》专栏，将从技术科普、行业案例、实战优化等多个角度全面解读。我们希望通过这个专栏，让更多的人了解CPU在AI推理加速，甚...……更多
2024-07-10 20:45:00梯队,模型,国产,玩家,模型,英特
...型的参数可能超过数十亿，通常需要显存较大的GPU来加速推理过程。因此，越来越多的研究开始关注如何缩小模型，比如改进训练方法或使用适配器。该领域的一项主要技术被称为量化（quantization）。ML工程师Maarten Grootendorst撰...……更多
2024-08-01 09:38:00干货,可视化,模型,工程师,指南,工程
...C-V CPU 具体的处理内容，应该和谷歌 Tensor 处理器的 SiFive 内核，用于管理硬件，以及通过矩阵乘法单元进行计算。
IT之家从报道中获悉，Rivos 的芯片还将采用台积电的 3nm 工艺技术制造，该公司首席执行官普尼特・库马尔（Puneet...……更多
2024-04-17 13:36:00融资,纠纷,芯片,苹果,加速器,芯片
...争对手(H100)相当，并提供有竞争力的价格/性能，同时在推理工作负载方面表现出色。
在功耗方面，AMDMI300X的额定功率为750W，比MI250X的500W增加了50%，比NVIDIAH200多了50W。ROCm 6.0开放软件平台AMD还推出了ROCm6.0开放软件平台，该最新...……更多
2023-12-07 22:24:00英伟,芯片,性能,性能,芯片,内存
...命周期包括最重要的两个部分，一个是AI训练，一个是AI推理。其中，AI训练就是让模型识别数据模式，是数据和处理最密集的部分，需要大规模的算力。在这一阶段，往往优先使用大规模并行的GPU加速器或专用的AI加速器，有时...……更多
2024-03-15 02:13:00推理,周期,训练,生命,推理,能效
...算，最终得到一个输出值，跟图形渲染一样都需要大量的矩阵运算——这恰巧就是GPU最擅长的东西。
一个典型的深度神经网络架构；图源：towards data science不过图像显示虽然数据处理量庞大，但大部分步骤是固定的，而深度神...……更多
2023-05-18 11:06:00英伟,帝国,裂缝,一道,英伟,芯片
...：「算力这块，你可以用别的芯片，但是这些芯片用来做推理还 OK，做训练的话还要等几年的样子，英伟达还是处在一个垄断的地位。」但基于实证的对比研究却往往又会给出不一样的答案，比如在同一个演讲中，李沐还提到了...……更多
2024-09-05 09:49:00英伟,模型,英伟,内存,推理,性能
...模型，且训练需求越来越大。应用生态逐渐成熟，大模型推理的算力需求上涨，算力增长速度与算力供给速度会出现极大不平衡。IDC 数据预测，到2026 年，中国在人工智能硬件市场的IT 投资将超过150 亿美元。而AMD CEO苏姿丰在发...……更多
2023-12-07 19:25:00芯片,模型,观点,一体,汽车,芯片
...中国经济进入下一代增长奇迹的轨道，也将为投资者带来新时代的发展红利。面对这样前程远大、短期路径又带有未知色彩的领域，数字经济ETF（159658）提供了很好的投资工具。这只产品是跟踪中证数字经济主题指数的ETF产品，...……更多
2024-03-21 10:31:00英伟,新一代,芯片,产业,发展,科创
...gmoid 注意力实现 ——FLASHSIGMOID。FLASHSIGMOID 在 H100 GPU 上的推理内核速度比 FLASHATTENTION2 提高了 17%。
跨语言、视觉和语音的实验表明，合理归一化的 sigmoid 注意力与 softmax 注意力在广泛的领域和规模上性能相当……更多
2024-09-19 12:02:00注意力,机制,苹果,注意力,研究,近器
...法分别将 BERT、GPT-Neo、BigBird 和 Longformer 在当前 GPU 上的推理速度加快了 1.25 倍、1.12 倍、1.57 倍和 1.65 倍，显著减少了片外内存流量。SoftMax。2022 年，Choi 等人提出了一种通过重组 Softmax 层加速 Trans……更多
2024-09-21 09:37:00能效,架构,工艺,硬件,加速器,能效
...，这两款芯片还是互相兼容的。这意味着，使用H100训练/推理模型的企业，可以无缝更换成最新的H200。全世界的AI公司都陷入算力荒，英伟达的GPU已经千金难求。英伟达此前也表示，两年一发布的架构节奏将转变为一年一发布。 ...……更多
2023-11-14 13:41:00英伟,芯片,性能,世界,英伟,显存
...，SiFive有望与谷歌签下另一份重要合同，为后者的TPU提供内核设计，从而推动收入的增加。SiFive对于谷歌用于人工智能（AI）服务器的第二代芯片寄予厚望，不过暂时还不清楚双方交易的细节，有可能成为未来SiFive的重要收入来...……更多
2024-03-22 20:24:00内核,芯片,设计,矢量,人工智能,设计
...味着什么？来看测试数据。
在HBM3e加持下，H200让Llama-70B推理性能几乎翻倍，运行GPT3-175B也能提高60%。对AI公司来说还有一个好消息：H200与H100完全兼容，意味着将H200添加到已有系统中不需要做任何调整。最强AI芯片只能当半年除...……更多
2023-11-14 20:51:00芯片,模型,训练,英伟,内存,节点
...场为之痴狂。新一代AI技术的高性能芯片需求造就了一个新时代的启蒙开启。有人把黄仁勋比作乔布斯。这是对一个新工业革命时代降临之后的盛誉，自然也是对新传奇的预期。性能翻30倍的恐怖Blackwell芯片，我们曾经为摩尔定...……更多
2024-03-20 09:11:00乔布,时代,芯片,模型,英伟,布斯
更多关于科技的资讯：
什么是大复兴？大辞职潮是一回事。至少还有一些希望，即辞职的工人以后可能会回来。在COVID-19大流行期间，年长的工人成群结队地退休
2024-09-28 10:13:00
周千清 菏泽报道为进一步深化公安交管“放管服”便民利企举措，节省群众办事时间，有效解决车主和驾驶人“急难愁盼”问题，9月27日
2024-09-28 10:20:00
**一汽丰田全新RAV4荣放2025年上市规划揭秘**一汽长春工厂近日披露了宏大的投资计划，预计将投入42.57亿元，以引进并生产第6代RAV4车型
2024-09-28 10:28:00
快科技9月28日消息，昨晚，捷途品牌旗下中型SUV山海L7正式上市，4款配置车型，官方指导价为12.98-15.98万元
2024-09-28 10:32:00
9月27日消息，小米汽车近日宣布，旗下首款车型小米SU7将于9月28日正式启动全国巡展活动。此次巡展将率先在沈阳、泰州
2024-09-28 10:40:00
9月27日消息，备受瞩目的动画电影《哆啦A梦：大雄的绘世界物语》即将在2025年3月7日登陆日本各大影院。这部电影以中世纪欧洲为背景
2024-09-28 10:41:00
疫情期间的数字客户服务新冠疫情引发对数字服务的需求疫情使得客户服务需求激增。随着电话等待时间延长，消费者纷纷涌入数字渠道寻求服务
2024-09-28 11:03:00
9月27日消息，淘宝为双11预热，9月底全面拥抱微信支付，用户支付选择更自由。这一重磅消息是在2024年阿里妈妈双11发布会上
2024-09-28 11:04:00
大河网讯 当人工智能出现在我们生活中，将带来哪些变化？出门在外，有人形机器人帮助照顾老人；休息在家，可以跟着电视里的虚拟人物打八段锦锻炼身体
2024-09-28 11:13:00
9月27日消息，日产Frontier作为一款备受瞩目的车型，在2025年的新款中再次进行了全面升级。不仅在配置上更加人性化
2024-09-28 11:21:00
使用Baklib的公司报告了改进情况50%减少入职时间64%报告数据驱动决策的改进91%无需升级即可解决问题未来的劳动力人工智能与知识管理的融合不仅是一种趋势
2024-09-28 11:31:00
快科技9月28日消息，小米今日推出了米家扫拖机器人M40，目前已经开启预售，首发到手价2999元。新品采用了双机械臂设计
2024-09-28 11:32:00
本文转自：人民网-上海频道人民网上海9月28日电 （记者葛俊俊）9月27日，以“新征程 芯动能”为主题的第六届浦东新区长三角集成电路技能竞赛决赛暨颁奖仪式在上海集成电路设计产业园举行
2024-09-28 11:36:00
律师事务所知识管理通过面向律师事务所和法律专业人士的知识管理系统加强研究和协作。根据AderantBusinessofLaw和LegalTechnology调查
2024-09-28 11:45:00
南海网9月28日消息（记者 姚皓 袁玉龙 实习生 岳玥）9月27日，2024世界新能源汽车大会“前瞻科技与未来汽车”主论坛在海口召开
2024-09-28 11:45:00