- 我的订阅
- 头条热搜
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
【新智元导读】用英伟达的GPU，但可以不用CUDA？PyTorch官宣，借助OpenAI开发的Triton语言编写内核来加速LLM推理，可以实现和CUDA类似甚至更佳的性能。试问，有多少机器学习小白曾被深度学习框架和CUDA的兼容问题所困扰？又有多...……更多
2024-09-07 09:48:00新时代,推理,内核,矩阵,乘法,英伟
机器之心报道编辑：泽南、杜伟生成式 AI 推理性价比是 GPU 的 140 倍。大模型时代，全球都缺算力，买铲子的英伟达市值被炒上了天。现在，终于有一家公司带着自己的 AI 芯片来叫板了。今天凌晨，科技圈迎来了一个重要新闻...……更多
2024-06-27 09:24:00辍学生,哈佛,芯片,速度,芯片,模型
...元导读】史上最快Transformer芯片诞生了！用Sohu跑Llama 70B，推理性能已超B200十倍，超H100二十倍！刚刚，几位00后小哥从哈佛辍学后成立的公司Etached，宣布再融资1.2亿美元。有史以来最快的Transformer芯片，刚刚诞生了？去年21岁哈佛...……更多
2024-06-27 09:25:00小哥,英伟,哈佛,华裔,推理,芯片
...扩展性更优。据介绍，这款Blackhole AI芯片共拥有768个RISC-V内核，包括16个Big RISC-V内核、752个Baby RISC-V内核，其中大量的Baby RISC-V内核被分别集成在140 个 Tensix 人工智能计算核心当中，241MB的片上SRAM内存和一系列高速连……更多
2024-08-30 09:52:00英伟,芯片,内核,英伟,芯片,以太
...比上一代虚拟机性能更强大，可显著提升AI模型的训练和推理速度。同时，微软选择了第四代英特尔XeonScalable处理器作为新一代计算机处理单元。此外，NDH100v5VM还采用了英伟达Quantum-2ConnectX-7InfiniBand技术，每个GPU可提供400Gb/s的带...……更多
2023-11-21 20:20:00微软,英伟,微软,模型,带宽,速度
...擦出怎样的火花，就很值得期待了。为了科普CPU在AI推理新时代的玩法，量子位开设了《最“in”AI》专栏，将从技术科普、行业案例、实战优化等多个角度全面解读。我们希望通过这个专栏，让更多的人了解英特尔®架构CPU在AI...……更多
2024-07-01 19:47:00人类,英特,英特尔,制药,处理,处理器
...市场瞬息万变，需要实时数据处理和决策支持，大模型的推理涉及到大量的矩阵乘法计算，对硬件的矩阵乘法计算能力提出较高要求，计算复杂性可能导致响应时间延迟，不利于实时应用。加之大模型训练和推理过程需要大量的...……更多
2024-06-28 23:00:00巴菲,巴菲特,模型,故障,金融,技术
...存储空间和计算资源就会减少。不过这也意味着，在执行推理时，需要进行混合精度的矩阵乘法运算（mpGEMM），即用低精度的权重和高精度的激活向量进行计算。然而，现有的系统和硬件并不原生支持这种混合精度的矩阵乘法，...……更多
2024-08-10 09:52:00新技,微软,提速,新技术,模型,手机
...OpenAI 发布了 ο1 系列模型，它那「超越博士水平的」强大推理性能预示着其必将在人们的生产生活中大有作为。但它的使用成本也很高，以至于 OpenAI 不得不限制每位用户的使用量：每位用户每周仅能给 o1-preview 发送 30 条消息，...……更多
2024-09-18 11:44:00研究,矩阵,对称,电路,运算,论文
...为ARM的20%左右，AI性能得到极大提升。目前，世界主流AI推理生态主要包括英伟达的GPU推理生态和X86的CPU推理生态。K1芯片通过复用X86成熟的AI推理软件栈，把底层核心算子改用RISC-VVector和AI指令，其余部分复用CPU推理软件栈，从...……更多
2024-04-29 15:06:00芯片,核心,时空,技术,芯片,志坚
...Mamba模型，并且设计了新的推测解码算法，加速了模型的推理。先来看一张其乐融融的图片（一眼AI）：右边的小羊驼代表Llama，而左边的蛇（Mamba）也是我们的老熟人了。至于到底能不能其乐融融，咱就不管了，之所以有此场景...……更多
2024-09-06 10:01:00推理,更快,性能,模型,输出,训练
...er模型取得了比扩散模型更好的结果，只有900M参数，但在推理时间上比StableDiffusion1.4版本快3倍，比Imagen-3B和Parti-3B快10倍。下图是Muse与DALL・E2和Imagen的生成效果对比：文本-3D模型生成主要代表作有Dreamfusion、Magic3D……更多
2023-01-30 16:34:00生成,模型,新论,代表作,盘点,进展
...些模型在配备GPU的移动设备上实现了迄今为止报道的最快推理延迟。在不使用INT8量化的情况下，对于一张512x512的图片进行20次迭代，StableDiffusion1.4的推理延迟低于12秒。具体是如何实现的呢？GPU感知优化在论文中，研究人员侧重...……更多
2023-04-28 17:14:00出图,速度,手机,模型,研究人员,研究
...；人工智能MCU：脱胎于第一类低功耗MCU，特色是能够将AI推理从云端推向边缘端，可应用于智能家居、人脸打卡、语音控制等应用。
ADI微控制器产品概览围绕MCU产品，ADI还提供了一系列支持资源方便简化用户的设计，包括专业...……更多
2023-01-20 08:49:00加速器,边界,专访,边缘,趋势,硬件
...用计算能力去释放整个系统的潜力。为了科普CPU在AI推理新时代的玩法，量子位开设了《最“in”AI》专栏，将从技术科普、行业案例、实战优化等多个角度全面解读。我们希望通过这个专栏，让更多的人了解CPU在AI推理加速，甚...……更多
2024-07-10 20:45:00梯队,模型,国产,玩家,模型,英特
...型的参数可能超过数十亿，通常需要显存较大的GPU来加速推理过程。因此，越来越多的研究开始关注如何缩小模型，比如改进训练方法或使用适配器。该领域的一项主要技术被称为量化（quantization）。ML工程师Maarten Grootendorst撰...……更多
2024-08-01 09:38:00干货,可视化,模型,工程师,指南,工程
...C-V CPU 具体的处理内容，应该和谷歌 Tensor 处理器的 SiFive 内核，用于管理硬件，以及通过矩阵乘法单元进行计算。
IT之家从报道中获悉，Rivos 的芯片还将采用台积电的 3nm 工艺技术制造，该公司首席执行官普尼特・库马尔（Puneet...……更多
2024-04-17 13:36:00融资,纠纷,芯片,苹果,加速器,芯片
...争对手(H100)相当，并提供有竞争力的价格/性能，同时在推理工作负载方面表现出色。
在功耗方面，AMDMI300X的额定功率为750W，比MI250X的500W增加了50%，比NVIDIAH200多了50W。ROCm 6.0开放软件平台AMD还推出了ROCm6.0开放软件平台，该最新...……更多
2023-12-07 22:24:00英伟,芯片,性能,性能,芯片,内存
...命周期包括最重要的两个部分，一个是AI训练，一个是AI推理。其中，AI训练就是让模型识别数据模式，是数据和处理最密集的部分，需要大规模的算力。在这一阶段，往往优先使用大规模并行的GPU加速器或专用的AI加速器，有时...……更多
2024-03-15 02:13:00推理,周期,训练,生命,推理,能效
...算，最终得到一个输出值，跟图形渲染一样都需要大量的矩阵运算——这恰巧就是GPU最擅长的东西。
一个典型的深度神经网络架构；图源：towards data science不过图像显示虽然数据处理量庞大，但大部分步骤是固定的，而深度神...……更多
2023-05-18 11:06:00英伟,帝国,裂缝,一道,英伟,芯片
...：「算力这块，你可以用别的芯片，但是这些芯片用来做推理还 OK，做训练的话还要等几年的样子，英伟达还是处在一个垄断的地位。」但基于实证的对比研究却往往又会给出不一样的答案，比如在同一个演讲中，李沐还提到了...……更多
2024-09-05 09:49:00英伟,模型,英伟,内存,推理,性能
...模型，且训练需求越来越大。应用生态逐渐成熟，大模型推理的算力需求上涨，算力增长速度与算力供给速度会出现极大不平衡。IDC 数据预测，到2026 年，中国在人工智能硬件市场的IT 投资将超过150 亿美元。而AMD CEO苏姿丰在发...……更多
2023-12-07 19:25:00芯片,模型,观点,一体,汽车,芯片
...中国经济进入下一代增长奇迹的轨道，也将为投资者带来新时代的发展红利。面对这样前程远大、短期路径又带有未知色彩的领域，数字经济ETF（159658）提供了很好的投资工具。这只产品是跟踪中证数字经济主题指数的ETF产品，...……更多
2024-03-21 10:31:00英伟,新一代,芯片,产业,发展,科创
...gmoid 注意力实现 ——FLASHSIGMOID。FLASHSIGMOID 在 H100 GPU 上的推理内核速度比 FLASHATTENTION2 提高了 17%。
跨语言、视觉和语音的实验表明，合理归一化的 sigmoid 注意力与 softmax 注意力在广泛的领域和规模上性能相当……更多
2024-09-19 12:02:00注意力,机制,苹果,注意力,研究,近器
...法分别将 BERT、GPT-Neo、BigBird 和 Longformer 在当前 GPU 上的推理速度加快了 1.25 倍、1.12 倍、1.57 倍和 1.65 倍，显著减少了片外内存流量。SoftMax。2022 年，Choi 等人提出了一种通过重组 Softmax 层加速 Trans……更多
2024-09-21 09:37:00能效,架构,工艺,硬件,加速器,能效
...，这两款芯片还是互相兼容的。这意味着，使用H100训练/推理模型的企业，可以无缝更换成最新的H200。全世界的AI公司都陷入算力荒，英伟达的GPU已经千金难求。英伟达此前也表示，两年一发布的架构节奏将转变为一年一发布。 ...……更多
2023-11-14 13:41:00英伟,芯片,性能,世界,英伟,显存
...，SiFive有望与谷歌签下另一份重要合同，为后者的TPU提供内核设计，从而推动收入的增加。SiFive对于谷歌用于人工智能（AI）服务器的第二代芯片寄予厚望，不过暂时还不清楚双方交易的细节，有可能成为未来SiFive的重要收入来...……更多
2024-03-22 20:24:00内核,芯片,设计,矢量,人工智能,设计
...味着什么？来看测试数据。
在HBM3e加持下，H200让Llama-70B推理性能几乎翻倍，运行GPT3-175B也能提高60%。对AI公司来说还有一个好消息：H200与H100完全兼容，意味着将H200添加到已有系统中不需要做任何调整。最强AI芯片只能当半年除...……更多
2023-11-14 20:51:00芯片,模型,训练,英伟,内存,节点
...场为之痴狂。新一代AI技术的高性能芯片需求造就了一个新时代的启蒙开启。有人把黄仁勋比作乔布斯。这是对一个新工业革命时代降临之后的盛誉，自然也是对新传奇的预期。性能翻30倍的恐怖Blackwell芯片，我们曾经为摩尔定...……更多
2024-03-20 09:11:00乔布,时代,芯片,模型,英伟,布斯
...终将影响几乎所有的谷歌产品。同时，人类正式迎来Gemini新时代的第一步，迈向真正的通用人工智能（AGI Model）。
“MI300X是我们迄今为止最先进的产品，也是业内最先进的 AI 加速芯片。”AMD CEO苏姿丰（Lisa Su）则直示，“AI 是5...……更多
2023-12-07 13:02:00美国,人类,疯狂,焦点,媒体,英伟
更多关于科技的资讯：
苹果iPhone16系列新机已于9月20日正式开售。对于想购买或者想出手转让iPhone16系列新机的朋友，不妨先浏览下深圳华强北的报价
2024-09-21 21:25:00
快科技9月21日消息，日前，北京联通联合华为，正式发布万兆宽带，999元/月。朝阳区一位B站UP主成为首位用户，经过实测
2024-09-21 21:25:00
快科技9月21日消息，9月20日，全球首款三折叠机型华为Mate XT非凡大师正式开卖，起售价是19999元。早在发布之前
2024-09-21 21:55:00
南海网记者 汪慧随着人工智能(AI)的快速发展，科技与出版传媒深度融合已经走向纵深。出版业如何应对人工智能带来的变革，成为出版传媒业高质量发展的新命题
2024-09-21 22:07:00
9月21日消息，据中国天气消息，今年第14号台风“普拉桑”减弱后的热带低压昨天晚上移入黄海南部海面后强度有所加强，今天凌晨再度加强为热带风暴级
2024-09-21 22:25:00
2024年太原马拉松赛9月22日燃情开跑，为确保这场家门口的国际体育盛事网络通信安全畅通，山西移动太原分公司以一系列先进技术手段
2024-09-21 22:43:00
今年6月，华硕推出了PrimeGeForceRTX40系列显卡，首批共有三款GPU，分别是RTX4060Ti、RTX4070和RTX4070SUPER
2024-09-21 22:43:00
赛睿（SteelSeries）宣布，推出ArctisNova5白色系列无线耳机，为用户带来了时尚的新配色。除了正常版本外
2024-09-21 22:44:00
据DigiTimes报道，有知情人士透露，由甲骨文公司（Oracle）创始人LarryEllison所支持的AI芯片设计公司Ampere正在探索出售的潜在可能性
2024-09-21 22:44:00
代号为ArrowLake-S的酷睿Ultra200系列桌面处理器已经确认会在10月10日发布，不过上市时间从原本的10月17日推迟到10月24日
2024-09-21 22:44:00
9月20日，海韵正式推出了COREGXATX3系列电源。根据官方介绍，海韵COREGXATX3系列电源中文名为“游戏酷核”
2024-09-21 22:45:00
英特尔已敲定了代号“ArrowLake-S”的酷睿Ultra200系列台式机处理器在2024年10月10日发布，不过上市时间从10月17日延后至10月24日
2024-09-21 22:45:00
说到电脑硬件“全家桶”，可能大部分玩家第一时间会想到“ROG”，他作为目前电脑市场上生态产品运营的巨头，希望自家的品牌能够覆盖到电脑的每一个配件上面
2024-09-21 22:45:00
本月初就有报道称，过去几个月里，高通一直在研究收购英特尔部分设计业务的可能性，以增强旗下的产品组合。高通对英特尔所有的设计部门进行了评估
2024-09-21 22:45:00
