- 我的订阅
- 头条热搜
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
【新智元导读】用英伟达的GPU，但可以不用CUDA？PyTorch官宣，借助OpenAI开发的Triton语言编写内核来加速LLM推理，可以实现和CUDA类似甚至更佳的性能。试问，有多少机器学习小白曾被深度学习框架和CUDA的兼容问题所困扰？又有多...……更多
2024-09-07 09:48:00新时代,推理,内核,矩阵,乘法,英伟
机器之心报道编辑：泽南、杜伟生成式 AI 推理性价比是 GPU 的 140 倍。大模型时代，全球都缺算力，买铲子的英伟达市值被炒上了天。现在，终于有一家公司带着自己的 AI 芯片来叫板了。今天凌晨，科技圈迎来了一个重要新闻...……更多
2024-06-27 09:24:00辍学生,哈佛,芯片,速度,芯片,模型
...元导读】史上最快Transformer芯片诞生了！用Sohu跑Llama 70B，推理性能已超B200十倍，超H100二十倍！刚刚，几位00后小哥从哈佛辍学后成立的公司Etached，宣布再融资1.2亿美元。有史以来最快的Transformer芯片，刚刚诞生了？去年21岁哈佛...……更多
2024-06-27 09:25:00小哥,英伟,哈佛,华裔,推理,芯片
...扩展性更优。据介绍，这款Blackhole AI芯片共拥有768个RISC-V内核，包括16个Big RISC-V内核、752个Baby RISC-V内核，其中大量的Baby RISC-V内核被分别集成在140 个 Tensix 人工智能计算核心当中，241MB的片上SRAM内存和一系列高速连……更多
2024-08-30 09:52:00英伟,芯片,内核,英伟,芯片,以太
...比上一代虚拟机性能更强大，可显著提升AI模型的训练和推理速度。同时，微软选择了第四代英特尔XeonScalable处理器作为新一代计算机处理单元。此外，NDH100v5VM还采用了英伟达Quantum-2ConnectX-7InfiniBand技术，每个GPU可提供400Gb/s的带...……更多
2023-11-21 20:20:00微软,英伟,微软,模型,带宽,速度
...擦出怎样的火花，就很值得期待了。为了科普CPU在AI推理新时代的玩法，量子位开设了《最“in”AI》专栏，将从技术科普、行业案例、实战优化等多个角度全面解读。我们希望通过这个专栏，让更多的人了解英特尔®架构CPU在AI...……更多
2024-07-01 19:47:00人类,英特,英特尔,制药,处理,处理器
...市场瞬息万变，需要实时数据处理和决策支持，大模型的推理涉及到大量的矩阵乘法计算，对硬件的矩阵乘法计算能力提出较高要求，计算复杂性可能导致响应时间延迟，不利于实时应用。加之大模型训练和推理过程需要大量的...……更多
2024-06-28 23:00:00巴菲,巴菲特,模型,故障,金融,技术
...OpenAI 发布了 ο1 系列模型，它那「超越博士水平的」强大推理性能预示着其必将在人们的生产生活中大有作为。但它的使用成本也很高，以至于 OpenAI 不得不限制每位用户的使用量：每位用户每周仅能给 o1-preview 发送 30 条消息，...……更多
2024-09-18 11:44:00研究,矩阵,对称,电路,运算,论文
...存储空间和计算资源就会减少。不过这也意味着，在执行推理时，需要进行混合精度的矩阵乘法运算（mpGEMM），即用低精度的权重和高精度的激活向量进行计算。然而，现有的系统和硬件并不原生支持这种混合精度的矩阵乘法，...……更多
2024-08-10 09:52:00新技,微软,提速,新技术,模型,手机
...为ARM的20%左右，AI性能得到极大提升。目前，世界主流AI推理生态主要包括英伟达的GPU推理生态和X86的CPU推理生态。K1芯片通过复用X86成熟的AI推理软件栈，把底层核心算子改用RISC-VVector和AI指令，其余部分复用CPU推理软件栈，从...……更多
2024-04-29 15:06:00芯片,核心,时空,技术,芯片,志坚
...Mamba模型，并且设计了新的推测解码算法，加速了模型的推理。先来看一张其乐融融的图片（一眼AI）：右边的小羊驼代表Llama，而左边的蛇（Mamba）也是我们的老熟人了。至于到底能不能其乐融融，咱就不管了，之所以有此场景...……更多
2024-09-06 10:01:00推理,更快,性能,模型,输出,训练
微软开源1bit大模型推理框架！现在1000亿参数大模型量化后单CPU可跑，速度可达每秒5-7个token。就是今年爆火论文The Era of 1-bit LLMs的官方代码实现，开源不到一周GitHub已揽获7.9k Star。传统大模型参数以16位浮点数（如FP16或BF16）形...……更多
2024-10-23 12:05:00模型,微软,推理,框架,参数,模型
一键部署LLM混合精度推理，端到端吞吐比AWQ最大提升6倍！清华大学计算机系PACMAN实验室发布开源混合精度推理系统——MixQ。MixQ支持8比特和4比特混合精度推理，可实现近无损的量化部署并提升推理的吞吐。△图1 MixQ吞吐与已有...……更多
2024-10-22 09:57:00推理,清华,吞吐,精度,混合,模型
...er模型取得了比扩散模型更好的结果，只有900M参数，但在推理时间上比StableDiffusion1.4版本快3倍，比Imagen-3B和Parti-3B快10倍。下图是Muse与DALL・E2和Imagen的生成效果对比：文本-3D模型生成主要代表作有Dreamfusion、Magic3D……更多
2023-01-30 16:34:00生成,模型,新论,代表作,盘点,进展
...；人工智能MCU：脱胎于第一类低功耗MCU，特色是能够将AI推理从云端推向边缘端，可应用于智能家居、人脸打卡、语音控制等应用。
ADI微控制器产品概览围绕MCU产品，ADI还提供了一系列支持资源方便简化用户的设计，包括专业...……更多
2023-01-20 08:49:00加速器,边界,专访,边缘,趋势,硬件
...窗口内的scaling值来估计当前scaling，同时将scaling的更新和矩阵乘法(gemm)融合起来。这种计算方法效率较高，但由于是估算的scaling，所以对收敛性影响较大。
实时scaling直接采用当前的张量值来计算scaling，所以计算效率较低，但...……更多
2024-09-26 13:34:00训练,精度,一行,混合,模型,成本
...用计算能力去释放整个系统的潜力。为了科普CPU在AI推理新时代的玩法，量子位开设了《最“in”AI》专栏，将从技术科普、行业案例、实战优化等多个角度全面解读。我们希望通过这个专栏，让更多的人了解CPU在AI推理加速，甚...……更多
2024-07-10 20:45:00梯队,模型,国产,玩家,模型,英特
...型的参数可能超过数十亿，通常需要显存较大的GPU来加速推理过程。因此，越来越多的研究开始关注如何缩小模型，比如改进训练方法或使用适配器。该领域的一项主要技术被称为量化（quantization）。ML工程师Maarten Grootendorst撰...……更多
2024-08-01 09:38:00干货,可视化,模型,工程师,指南,工程
...于 AMD CDNA 3 架构构建，旨在为涵盖基础模型训练、微调和推理等要求苛刻的 AI 任务提供性能和效率。AMD Instinct MI325X 加速器提供了业界领先的内存容量和带宽，256GB HBM3E 支持 6.0TB/s，比英伟达 H200 提供了高 1.8 倍的容量和 1.3 倍……更多
2024-10-12 09:49:00英伟,芯片,性能,支持,加速器,处理
...C-V CPU 具体的处理内容，应该和谷歌 Tensor 处理器的 SiFive 内核，用于管理硬件，以及通过矩阵乘法单元进行计算。
IT之家从报道中获悉，Rivos 的芯片还将采用台积电的 3nm 工艺技术制造，该公司首席执行官普尼特・库马尔（Puneet...……更多
2024-04-17 13:36:00融资,纠纷,芯片,苹果,加速器,芯片
...命周期包括最重要的两个部分，一个是AI训练，一个是AI推理。其中，AI训练就是让模型识别数据模式，是数据和处理最密集的部分，需要大规模的算力。在这一阶段，往往优先使用大规模并行的GPU加速器或专用的AI加速器，有时...……更多
2024-03-15 02:13:00推理,周期,训练,生命,推理,能效
...争对手(H100)相当，并提供有竞争力的价格/性能，同时在推理工作负载方面表现出色。
在功耗方面，AMDMI300X的额定功率为750W，比MI250X的500W增加了50%，比NVIDIAH200多了50W。ROCm 6.0开放软件平台AMD还推出了ROCm6.0开放软件平台，该最新...……更多
2023-12-07 22:24:00英伟,芯片,性能,性能,芯片,内存
...模型，且训练需求越来越大。应用生态逐渐成熟，大模型推理的算力需求上涨，算力增长速度与算力供给速度会出现极大不平衡。IDC 数据预测，到2026 年，中国在人工智能硬件市场的IT 投资将超过150 亿美元。而AMD CEO苏姿丰在发...……更多
2023-12-07 19:25:00芯片,模型,观点,一体,汽车,芯片
...：「算力这块，你可以用别的芯片，但是这些芯片用来做推理还 OK，做训练的话还要等几年的样子，英伟达还是处在一个垄断的地位。」但基于实证的对比研究却往往又会给出不一样的答案，比如在同一个演讲中，李沐还提到了...……更多
2024-09-05 09:49:00英伟,模型,英伟,内存,推理,性能
...中国经济进入下一代增长奇迹的轨道，也将为投资者带来新时代的发展红利。面对这样前程远大、短期路径又带有未知色彩的领域，数字经济ETF（159658）提供了很好的投资工具。这只产品是跟踪中证数字经济主题指数的ETF产品，...……更多
2024-03-21 10:31:00英伟,新一代,芯片,产业,发展,科创
...gmoid 注意力实现 ——FLASHSIGMOID。FLASHSIGMOID 在 H100 GPU 上的推理内核速度比 FLASHATTENTION2 提高了 17%。
跨语言、视觉和语音的实验表明，合理归一化的 sigmoid 注意力与 softmax 注意力在广泛的领域和规模上性能相当……更多
2024-09-19 12:02:00注意力,机制,苹果,注意力,研究,近器
...法分别将 BERT、GPT-Neo、BigBird 和 Longformer 在当前 GPU 上的推理速度加快了 1.25 倍、1.12 倍、1.57 倍和 1.65 倍，显著减少了片外内存流量。SoftMax。2022 年，Choi 等人提出了一种通过重组 Softmax 层加速 Trans……更多
2024-09-21 09:37:00能效,架构,工艺,硬件,加速器,能效
...，这两款芯片还是互相兼容的。这意味着，使用H100训练/推理模型的企业，可以无缝更换成最新的H200。全世界的AI公司都陷入算力荒，英伟达的GPU已经千金难求。英伟达此前也表示，两年一发布的架构节奏将转变为一年一发布。 ...……更多
2023-11-14 13:41:00英伟,芯片,性能,世界,英伟,显存
...，SiFive有望与谷歌签下另一份重要合同，为后者的TPU提供内核设计，从而推动收入的增加。SiFive对于谷歌用于人工智能（AI）服务器的第二代芯片寄予厚望，不过暂时还不清楚双方交易的细节，有可能成为未来SiFive的重要收入来...……更多
2024-03-22 20:24:00内核,芯片,设计,矢量,人工智能,设计
...仅解码器LLM）作为文本编码器，以增强对提示词的理解和推理能力。尽管T2I生成模型多年来取得了显著进展，但大多数现有模型仍依赖CLIP或T5进行文本编码，这些模型往往缺乏强大的文本理解和指令跟随能力。与CLIP或T5不同，Gem...……更多
2024-10-18 09:49:00英伟,清华,架构,大片,性能,笔记本
更多关于科技的资讯：
随着AI强劲增长，市场对算力的需求也持续提升，韶关正瞄准千亿级华南算力产业集群，打造世界级算力之城。2月14日，韶关市人民政府与广东东阳光科技控股股份有限公司在市区隆重举行战略合作框架协议签约仪式
2025-02-16 20:00:00
十堰广电讯（全媒体记者 叶旭升 郧阳区融媒记者 郝周）一季度是全年经济的风向标，抢开局、夺首胜关乎信心、关乎全局。新春伊始
2025-02-16 18:38:00
齐鲁晚报·齐鲁壹点 隋忠伟 厉昕月 李浩在非洲与东南亚的广袤大地上，电网基础设施建设相对滞后，停电断电频繁，当地民众对稳定电力的渴望极为迫切
2025-02-16 19:02:00
快科技2月16日消息，据媒体报道，国产AS700D电动款载人飞艇通过首飞放飞评审，预计本月底首飞。据介绍，AS700D是AS700载人飞艇的改进型
2025-02-16 12:23:00
快科技2月16日消息，微软在Dev频道最新的134.0.3124.8版本中，对Edge的设置页面进行了重新设计。新版设置页面整体设计风格更加贴近谷歌Chrome浏览器
2025-02-16 12:23:00
瑞蛇贺岁,欣欣向荣。2025年央视春晚,洗脸熊携手IPTV,重磅登陆2025年中央广播电视总台春节联欢晚会,与全国观众一同喜庆迎春
2025-02-16 12:58:00
2月14日，跨越速运在西部航空枢纽空侧的启用仪式上迎来了历史性突破。同日，第21架全货机成功完成成都⇌无锡航线的首航任务
2025-02-16 13:02:00
带来身体放松的按摩或许是职场人的刚需，但共享按摩椅绝对不是。作者 | 黑莓编辑 | DR题图 | 视觉中国 任谁都没想到
2025-02-16 15:16:00
快科技2月16日消息，据媒体报道，Intel的竞争对手博通和台积电，正在分别探索接手Intel部分业务的可能性。报道指出
2025-02-16 13:23:00
2月13日，苏州工业园区举行提振消费暨商贸发展工作推进会，旨在探讨商贸业发展的新趋势、新机遇和新挑战，聚焦政策引导、消费提振策略
2025-02-16 13:49:00
在苏州工业园区，多元化、品质化、个性化的各类商贸载体“加速跑”求新求变，展现区域商贸发展的缤纷百态。位居苏州工业园区金鸡湖西岸的苏州中心商场充分发挥苏州最大商业综合体的优势和能量
2025-02-16 13:50:00
近年来，苏州工业园区围绕创新药物、高端医疗器械、大健康等领域，持续加大支持力度，截至目前已集聚相关企业超2000家，产值规模突破1655亿元
2025-02-16 13:50:00
快科技2月16日消息，微信灰度测试接入DeepSeek之后，官方表示，腾讯旗下多个产品正探索接入。据央视消息，今日从腾讯集团了解到
2025-02-16 13:53:00
快科技2月16日消息，近日，有问界M7车主发布了一段AEB实战救下一位小女孩的记录仪视频。视频中，这辆车在右侧车道正常行驶
2025-02-16 13:53:00