• 我的订阅
  • 头条热搜
NVIDIA RTX显卡AI推理提速5倍!
...理性能可以跑到每秒319tokens,相比其他后端的每秒61tokens提速足足4.2倍。RTX4090则可以从每秒tokens加速到每秒829tokens,提升幅度达2.8倍。基于强大的硬件性能、丰富的开发生态、广阔的应用场景,NVIDIARTX正成为本地端侧AI不可或缺...……更多
面壁智能的端侧大模型面壁MiniCPM正式亮相
...大的底层支撑,先是算力方面,凭借全流程高效infra10倍推理加速,能够将成本降低90%;其次在算法方面,面壁模型通过高效模型训练配置实现模型能力快速形成;数据处理方面,凭借现代化数据工厂形成从数据治理到多维评测...……更多
英伟达推出史上最强AI芯片H200:推理性能提升90%,无缘中国市场
...的H100的带宽和容量分别为3.35TB和80GB。这将提升大模型在推理方面的表现,并有助于提升高性能计算应用的计算能力。英伟达预计,H200将在明年二季度开始发货,谷歌、微软、甲骨文等科技巨头将会率先实现首批部署。但毫无疑...……更多
微软研究院推出orca2llm
...然后生成、回忆-原因-生成、提取-生成和直接回答等各种推理技术,同时还能为不同的任务选择不同的解决方案策略。Orca2模型相比较Llama2和WizardLM等大型语言模型,在痛苦理解、常识推理、多步推理、数学问题解决、阅读理解...……更多
AI芯片下半场:英伟达不再一家独大
...)”的新AI芯片组,目的是为ChatGPT等大语言模型的训练及推理提供英伟达芯片之外的替代方案。另据Tom’s Hardware消息,Athena使用的是台积电5nm工艺,专为大语言模型训练设计。 曾有知情人士透露,在开发Athena期间,微软为了满...……更多
intelarca770升级改进ai大模型
IntelArc锐炫虽然初入独立显卡市场,但表现可圈可点,尤其是随着驱动的不断优化,各方面性能都在持续突飞猛进,包括游戏,包括AI。比如最高端的ArcA770,不但集成XMXAI加速功能,还拥有16GBGDDR6大容量显存,非常适合做生成式A...……更多
微软紧随英伟达发布芯片,老黄还不慌吗?
...可以加快数据处理速度,尤其是在语音和图像识别方面。提速的关键,自然是算力。为了提升算力,微软也是下了血本:采用台积电的5nm制程工艺,晶体管数量达到1050亿个。和今年4月被曝光的信息相比,Maia的制程工艺、设计架...……更多
收入占比40%、电话会议点名16次,英伟达:推理端的需求被低估了
...让人印象深刻的是,英伟达在财报电话会议的一个观点:推理端的爆发,可能很多人还是低估了。据英伟达电话会议披露,公司全年数据中心里已经有40%的收入来自推理业务,超出了绝大部分人预期。而在这次财报电话会议里,...……更多
PC迎来AI时刻,英特尔、微软、联想等纷纷布局,产品价格将迎上涨
...算力是上一代的8倍,可在PC上实现高能效的AI加速和本地推理,并适配超过10款国产大模型。英特尔的老对手AMD则抢先一步,上周发布Ryzen 8040系列处理器。该处理器集成了升级的专用AI引擎NPU,算力为16TOPS,AI性能相比上一代提升...……更多
AMD MI300绝杀英伟达H100?跑GPT-4性能超25%,AI芯片大决战一触即发
...,因此它们一直被诟病生成的回答是基于概率,而非基于推理。这也就意味着,在当前的AI热潮中,这些模型架构可能无法幸存下来。毕竟,由于发展速度太快,如今的LLM寿命相对较短。昨天还炙手可热的模型,一两周后可能就...……更多
...比上一代虚拟机性能更强大,可显著提升AI模型的训练和推理速度。同时,微软选择了第四代英特尔XeonScalable处理器作为新一代计算机处理单元。此外,NDH100v5VM还采用了英伟达Quantum-2ConnectX-7InfiniBand技术,每个GPU可提供400Gb/s的带...……更多
谷歌和微软两位“印度老乡”CEO,正面硬刚
...布的大模型Bard将使用Gemini Pro的微调版本来进行更高级的推理、规划和理解等。谷歌官方称“这是Bard自推出以来最大的升级”。Gemini Nano被称为“端侧任务最高效的模型”,Android开发者可以通过AICore来使用。据悉AICore是Android 14 ...……更多
清华提出CharacterGLM;DeepMind联创发全新一代大模型;大模型版“5年高考3年模拟”来了丨AI新零售早报
...|微软&UCLA&UW联合出品》MathVista是一个多模态数学推理基准数据集,由微软、UCLA和UW联合开发,包含6141个数学问题,涵盖丰富的任务类型、推理能力和图像类型。特点:旨在提供一个全面、多样、复杂的视觉数学推理挑战...……更多
微软:从“软件老大”到“AI帝国”
...Bing、GitHub Copilot 和 ChatGPT 等 AI 工作负载运行云端训练和推理。这款芯片采用了 5 纳米工艺制造,拥有 1050 亿个晶体管。 Azure Maia 100 美颜照|Microsoft微软自己的DPU——Azure Boost也已全面上市。微软在今年早些时候……更多
本周硅谷发生了什么?|苹果Vision Pro正式开售;Neuralink完成人类脑机接口植入;字节Coze国内版上线;
...推出数据分析工具“办公小浣熊”面壁智能发布2B模型,推理成本仅为GPT-4的1/360科大讯飞发布全民开放大模型星火V3.5百川智能发布Baichuan 3大模型,更好理解中文阿里巴巴开发的自主多模态AI代理MobileAgent上线苹果Vision Pro正式在...……更多
老黄祭出史上最强 AI 芯片B200!30倍性能提升,AI 迎来新摩尔定律时代|钛媒体AGI
...ckwell,是英伟达A100/H100系列AI GPU的继任者。在大语言模型推理工作负载方面,Blackwell的性能相比H100 GPU提升了30倍,能耗却降低了25倍。亚马逊、谷歌、微软和甲骨文将是首批合作伙伴。此外,黄仁勋还在GTC大会推出了新一款服务...……更多
微软难以摆脱英伟达 |焦点分析
...在其科技大会上发布了两款自研芯片——用于云端训练和推理的AI芯片Azure Maia 100,和CPU(中央处理器)Azure Cobalt 100,分别在AI芯片和CPU芯片上正面对刚英伟达和英特尔。2023年3月ChatGPT火热后,英伟达的AI芯片A100、H100便一卡难求...……更多
llava-1.6与gpt-4vmp面硬刚的性能,一起来看看
...率基础上,并通过改进视觉指令数据集和SGLang,提升了“推理、OCR等方面的性能”,意味着人类向AGI(通用人工智能)探索的道路上又迈进了一步。LLaVA-1.6的研发团队成员Haotian Liu在X平台发文原文 二、更适合中国人体质的GPT-4V...……更多
...,Maia将为生成式人工智能工作负载运行基于云的训练和推理,并且它拥有大量的晶体管。而Cobalt将会被用于执行复杂、高性能的操作。微软表示,他们并没有计划对外销售这两款产品,而是更倾向于仅供内部使用。值得一提的...……更多
科学家提出情景学习新范式,让学霸大模型向学弱大模型输送能力
...十亿左右。“做大”,能让大模型具备更强的涌现能力和推理能力,从而适用于难度更高的任务。“做小”,能让大模型获得更优秀的推理能力,从而能被部署到手机、手表、耳机、录音笔等各类小微终端之中。情景学习(ICL,...……更多
英伟达带来最强AI芯片,但赶超苹果又远了一步?
...结合,就能搭建为GB200超级芯片,其可以为大语言模型的推理环节提升30倍的工作效率。在具有1750亿个参数的GPT-3 LLM基准测试中,GB200的性能是H100的7倍,训练速度则是H100的4倍。值得一提的是,Blackwell并非某一款芯片的专属名,...……更多
疯狂一夜!美国AMD、谷歌纷纷亮出大杀器,人类迎来巨变前夜?|钛媒体焦点
...1.0亮点主要包括五个方面:最先进的性能测试结果,新的推理以及创意功能,性能强大且高效的 AI 超算系统,责任与安全,以及可用性。首先,性能测试方面,在32个性能基准测试中的30个中,Gemini Ultra模型超越了现有最先进的G...……更多
财报大涨,股价微跌,英伟达放不下中国市场|焦点分析
...席卷全球,大模型、推荐引擎和生成AI应用程序的训练及推理需求非常强盛。无论是百川智能、智源等大模型厂商,还是阿里云、百度云等云服务厂商(CSP),甚至需要训练AI应用的企业,都对英伟达的产品有着较强需求。英伟...……更多
乔布斯时代之后,会迎来黄仁勋时代吗?
...flops的FP4计算能力,这是由其2080亿个晶体管提供的。高效推理:当与Grace CPU结合形成GB200超级芯片时,它能在LLM推理工作负载上提供比单个GPU高出30倍的性能,同时在成本和能源消耗上比H100 GPU高出25倍。训练能力:使用Blackwell GPU...……更多
微软推出自研AI芯片:台积电5nm工艺、Open AI开启试用,想摆脱对英伟达依赖?
...发布的首款AI芯片命名为Maia 100,是一款用于云端训练和推理的AI加速器芯片。这款芯片采用台积电5nm制程,晶体管数量达到1050亿个,1600-3200TFLOPS的算力、4.8Tbps的网络IO等超过了英伟达H100和AMD MI300X,但在宽带等指标上有所落后。...……更多
Pika爆火,但AI视频还没到「GPT时刻」;首个GPT-4驱动的人形机器人;微软小模型击败大模型丨AI新零售早报
...发布了一个仅有27亿参数的小型模型Phi-2,它在多数常识推理、语言理解、数学和编码任务上超越了其他大型模型。尽管Phi-2的参数数量较少,但它在复杂的基准测试中展示了出色的性能,甚至超越了参数数量是其25倍的模型。微...……更多
AI电脑大潮来了!创盈芯AI迷你主机F1A正式面世
...的神经网络处理器(NPU),可以非常高效地持续执行一些AI推理任务负载,包括语音交互、图像识别以及人脸识别等场景,以便用户可以在一个设备上完成各种创意工作。此外,NPU AI引擎的加持,让F1A在响应速度上提高了35% ,而能...……更多
谷歌王者归来?最新推出的大模型到底有多强,能否挑战GPT-4
...问题,这就使其尤其擅长解释数学和物理等复杂科目中的推理。Gemini能够根据照片按步骤讲题。来源:官方视频谷歌还发布了一个时长六分钟的视频,展现了测试员和Gemini的一些有趣互动,其中包括让Gemini识别图片并用多种语言...……更多
AIGC风潮席卷手机:但在PC面前 还是个弟弟
...全新的NPUAI独立引擎。它通过单独设置的神经计算引擎、推理流水线,彻底接手端侧的AI推理负载,其中MAC阵列可以高效执行矩阵算法和卷积运算,每周期效率多达2048。这样的性能更是手机端望尘莫及的,速度超快的同时功耗更...……更多
GTC 2024硬件一览:史上最强AI芯片GB200发布!
...可实现720petaflops的AI训练性能或1,440petaflops(1.4exaflops)的推理。图片源于网络与相同数量的72个H100相比,GB200NVL72的性能绝对是逆天的存在,大模型推理性能可以提升30倍,并且成本和能耗只有前者的1/25。当然,最炸裂的要数适...……更多
更多关于科技的资讯:
新能源车型销量不尽人意 保时捷高管:依旧对电车充满信心
快科技7月8日消息,据 Automobilwoche 报道,保时捷生产主管 Albrecht Reimold 表示,尽管近期电动汽车需求疲软
2024-07-08 23:39:00
21岁小伙在大学当宿管大爷 当事人:在工作中学到了很多
7月8日消息,据媒体报道,21岁小伙肖鹏是上海建桥学院的一名宿舍管理员,大专毕业的他已经在学校工作了11个月。他说,当初选择做“宿管”
2024-07-08 23:39:00
粉丝自制《黑神话》超用心COS服:头发是一根根粘的
再有一个多月,《黑神话:悟空》就要发售了,但已经有国外真爱粉抢先一步用除了金钱支持之外的实际行动,向《黑神话》表达了自己的喜爱——一套精度颇高的天命人COS服
2024-07-08 23:39:00
粤企“北斗加油站数据精准采集管理云平台”获评数字化转型“优秀案例”
本文转自:人民日报客户端7月2日上午,2024全球数字经济大会开幕,50多个国家和国际组织的300多名重要外宾,以及国内外近千名嘉宾参加开幕式
2024-07-09 03:16:00
广州天河:春雨润苗 “小企业”放“大光彩”
本文转自:人民日报客户端范科丽近日,国家税务总局办公厅和中华全国工商业联合会办公厅联合发布了《2024年助力小微经营主体发展“春雨润苗”专项行动方案》
2024-07-09 03:16:00
日本拟要求自动档新车安装防误踩油门装置:踩错踏板也不会跑
快科技7月8日消息,据报道,日本国土交通省预计将在晚些时候更改相关法规,要求新型号自动档汽车必须安装防错踩装置,并逐渐推广至现有型号的新车上
2024-07-08 20:09:00
创造无数人的饭碗!Java之父James Gosling宣布正式退休
快科技7月8日消息,编程语言Java的创始人,被誉为“Java之父”的James Gosling,近日在社交媒体上宣布了自己正式退休的消息
2024-07-08 20:09:00
女子长期喝通便茶:肠道长满豹纹
7月8日消息,据媒体报道,一53岁女子有4年便秘史,长期喝网上推荐的通便茶。经诊断,这名女子的肠壁长满"豹纹",形成了“结肠黑变病”
2024-07-08 20:39:00
寂寞的中东土豪 成了中国公司的金矿
如果你问一个在沙特呆过的中国人最不适应什么?他的答案可能不是缺乏绿叶菜的食物,也不是复杂饶舌的阿拉伯语,而多会是一句略显无奈的感叹
2024-07-08 20:39:00
苹果AI限制老机型!曝苹果上调iPhone 16系列备货量至9000万部
快科技7月8日消息,距离苹果9月的秋季新品发布会只剩两个多月,关于iPhone 16的爆料也逐渐多了起来。今日有媒体报道
2024-07-08 20:39:00
加速布局充电网络!理想汽车新增5座超充站 累计已达619座
快科技7月8日消息,理想汽车于2024年第27周(7月1日至7月7日)新增5座超充站。据悉,这五座超充站分别位于宁波、深圳
2024-07-08 21:09:00
女子睡凉席醒来发现腿上长满红斑 医生提醒:陈年凉席有千万只螨虫
快科技7月8日消息,据媒体报道,家住湖南省长沙市的李女士饱受皮肤问题困扰。原来,在一周前,李女士早上睡觉起来后发现,自己的双下肢莫名其妙起了大量红斑
2024-07-08 21:09:00
官方泄密!腾讯视频有意推出无广告版本:要付费、视觉升级
快科技7月8日消息,近日,腾讯视频开启官方调研,有意推出无广告的高端版本,你支持这样的操作吗?从这份官方调研的报告可以清楚的看到
2024-07-08 21:09:00
高通+AMD在PC端接连放大招!英特尔坐不住了
移动端处理器在这五年的时间里发生了前所未有的改变,从英特尔占据绝对话语权到AMD锐龙处理器强势登陆移动端并站稳脚跟,再到苹果宣布自家Mac产品线不再使用英特尔处理器而改用自研M系芯片
2024-07-08 21:09:00
CPT Markets塞浦路斯办事处盛大开幕!
跨越巅峰,耀世启航!CPTMarkets塞浦路斯办事处盛大开幕!作为一家全球领先的国际金融衍生品及相关服务供货商,CPTMarkets始终紧跟时代步伐
2024-07-08 21:15:00