• 我的订阅
  • 头条热搜
ASC24超算大赛启动会在京举行,大模型推理等成为赛题
...在上海大学举行的总决赛。据悉,今年的赛题包括大模型推理优化、渗流数值模拟,以及国际通行基准测试HPL和HPCG等。来自高性能计算和人工智能领域的中国科学院院士、中国工程院院士、专家学者及参赛师生代表等参加了启...……更多
AI时代不甘落后:英特尔全新软硬件平台助力企业加速创新
...英特尔Gaudi3加速器在主流LLM中的训练时间平均提升了40%,推理速度提升了50%。并且Gaudi3加速器也可以根据客户的需求组件成计算集群,让AI性能成倍提升。目前包括戴尔、联想、超微等企业已经与英特尔达成合作,将会使用Gaudi...……更多
ASML两款光刻机出口许可被撤销;比亚迪Q4纯电车销量超特斯拉
...备。(量子位)谷歌Gemini大逆转?斯坦福Meta华人证明其推理性能强于GPT-3.5斯坦福和Meta的学者进行了深入研究,证实了谷歌的模型Gemini在常识推理任务上并非落后于OpenAI的GPT模型。他们认为,之前基于有限数据集的评估未能完全...……更多
大模型推理乘上RISC-V快车?国内AI芯片创企推大模型系列一体机
...并发、技术自主可控方面具有优势的新选择。AI大模型在推理侧的新机遇与RISC-V创新架构具有的可扩展性、可编程性、超大规模等优势特点不谋而合。技术和场景应用的双重优势下,希姆计算的大模型一体机能支撑企业将基座模...……更多
英伟达领投机器人公司;传微软即将发布 AI 芯片;日本对华水产出口大跌 65%
...S 12 系统。(来源:IT 之家)消息称英伟达将推 RTX 4080 Ti 显卡,与 4080 同价10 月 7 日消息,据可靠爆料人「MEGAsizeGPU」消息,英伟达将在 2024 年初推出 RTX 4080 显卡的升级版,可能称为 RTX 4080 Super 或 RTX 4080 ……更多
...化、算子优化、集群网络优化提升国产GPU在大模型训练与推理场景中的性能,还能够适配国内外主流开源、商用大模型,降低客户在国产GPU上运行大模型的门槛与成本,加速大模型应用在政企市场落地,实现“一企一模型,一人...……更多
英伟达宣布更新tensorrt-llm
...。英伟达将于本月晚些时候发布TensorRT-LLM0.6.0版本更新,推理性能提高5倍,并支持Mistral7B和Nemotron-38B等其它主流LLM。用户可以在8GB显存以上的GeForceRTX30系列和40系列GPU上运行,一些便携式Windows设备也能使用快速、准确的本地LLM……更多
谷歌 VS OpenAI:当搜索霸主和屠龙少年迈入同一条河流
...tra 的得分高达 90.0%,超过GPT-4的86.4%。同时,Gemini Ultra 在推理、数学、代码等方面的表现也都高过GPT-4。而作为首个「原生多模态」模型,在一系列多模态基准测试中,对标GPT-4V,Gemini Ultra 也展现出了先进的性能。图源:谷歌新...……更多
...4.4英寸的显示屏,分辨率为2400×1600,刷新率可达120Hz。在显卡方面,SurfaceLaptopStudio2根据版本不同分为英特尔集成显卡、NVIDIAGeforceRTX4050/4060/2000Ada三种不同规格。此外,该机还搭载了英特尔神经处理单元(NPU),这也是英特尔……更多
对话周鸿祎:ChatGPT像个油腻中年人
...拟,通过大模型的算力来模拟人脑对知识的记忆、理解和推理。以下为《中国企业家》对周鸿祎采访实录:ChatGPT太惊艳《中国企业家》:你是从什么时间开始关注ChatGPT的?周鸿祎:说起来大家可能觉得我在吹牛,但很早我就开...……更多
颜值高价格更便宜:iGame RTX 4080 SUPER Neptune OC 16GB显卡首发评测
英伟达在CES 2024上发布了三款SUPER系列显卡,包括GeForce RTX 4070 SUPER、GeForce RTX 4070 Ti SUPER以及GeForce RTX 4080 SUPER,其中大家已经领略到了前面两款显卡的性能,平均性能提升幅度在8-10%,还是符合预期的,而今天……更多
“技术故障”背刺巴菲特,金融大模型到底靠不靠谱?
...市场瞬息万变,需要实时数据处理和决策支持,大模型的推理涉及到大量的矩阵乘法计算,对硬件的矩阵乘法计算能力提出较高要求,计算复杂性可能导致响应时间延迟,不利于实时应用。加之大模型训练和推理过程需要大量的...……更多
面壁智能发布2B模型:适配主流手机,推理成本仅为GPT-4的1/360 | 最前线
...在MMLU(多任务语言理解)、Knowledge(知识)、Reasoning(推理)、Comprehension(理解)等关键指标上均超越了Meta Llama 2的13B模型。这一个故事,在2024年2月1日的发布会上,也被AI模型层公司面壁智能的CEO李大海不断提起。对标Mistral..……更多
朱啸虎:AI的赚钱风向,彻底变了!
...怀疑 GPT-5 年底究竟能不能出来?即使出来了,相较GPT-4,推理能力上会不会在有显著提高?现在硅谷都说可能至少要十万张 ,甚至二三十万张 GPU 卡,才能看到显著的性能提升。但是即使你有卡,可能也没那么多可用来训练的数...……更多
谷歌发布gemma2大语言模型,共有两种大小
...亿参数(27B)两种大小。Gemma2大语言模型相比较第一代,推理性能更高、效率更高,并在安全性方面取得了重大进步。谷歌在新闻稿中表示,Gemma2-27B模型的性能媲美两倍规模的主流模型,而且只需要一片英伟达H100ensorCoreGPU或TPU...……更多
Meta大模型LLaMA 3即将登场,参数量或达1400亿
...ok-1模型。根据Gemma和Grok-1的性能测试文档,它们在数学、推理、代码等多项基准测试方面的性能均超过了同规模的LLaMA2模型。截至目前,包括谷歌、xAI、MistralAI、DataBricks和StabilityAI等在内的多家科技公司发布了开源的大模型。有...……更多
近日,高通公司发布了新一代云AI推理加速卡——CloudAI100Ultra。这款产品专为生成式AI和大型语言模型而设计,提供相当于上一代产品四倍的性能。新款CloudAI100Ultra可部署的模型规模进一步扩大,单张150W的卡上可部署100B参数模...……更多
国产GPU万卡集群终于来了!摩尔线程CEO张建中:做难而正确的事
...展“人工智能+”行动等战略指引下,我国AI落地进程正在提速,推动更多行业迈向数字化、智能化转型升级,并带动以GPU为核心的智算中心的建设与发展。张建中坦言,GPU在整个计算服务器中的占比依然很低,不到10%,但未来这...……更多
OpenAI掀小模型血战!苹果DCLM强势登场,碾压Mistral 7B全开源
...外,HuggingFace上还发布了7B模型的指令微调版本,在数学推理任务GSM8K上的性能实现大规模提升,分数由原来的2.1直接飙到52.5。https://huggingface.co/apple/DCLM-7B-8k除了7B版本,1.4B版本也同步上线。神奇的是,训练数据量相比7B版本不……更多
谷歌大模型推理范式,主要分为两个阶段
...新研究“自我发现”(Self-Discover),重新定义了大模型推理范式。与已成行业标准的思维链(CoT)相比,新方法不仅让模型在面对复杂任务时表现更佳,还把同等效果下的推理成本压缩至1/40。核心策略其实很简单:千人千面。...……更多
AMD最强AI芯片发布:性能是英伟达H100的1.3倍!
...争对手(H100)相当,并提供有竞争力的价格/性能,同时在推理工作负载方面表现出色。 在功耗方面,AMDMI300X的额定功率为750W,比MI250X的500W增加了50%,比NVIDIAH200多了50W。ROCm 6.0开放软件平台AMD还推出了ROCm6.0开放软件平台,该最新...……更多
谷歌最新自然语言推理算法
谷歌发布全新反向推理算法LAMBADA,无惧搜索空间爆炸!自动推理绝对算是自然语言处理领域的一大难题,模型需要根据给定的前提和知识推导出有效且正确的结论。尽管近年来NLP领域借着大规模预训练语言模型在各种「自然语...……更多
chatgpt:技术突破有望构建新商业模式
...。另一方面,AI也在过去近十年间完成了从感知、理解到推理性能的全面提升,由此带来定义新一代交互、生产方式、生产关系的可能。 对于投资机构来说,大家都对新一代大模型的性能打开和赋能toC场景感到振奋,因为技术...……更多
大模型时代的阿里云,将云计算进行到底
...取代通用算力充满确定性,不止是目前的训练需求,未来推理需求将远超训练需求,以大模型算力为云的基本盘,是云厂商必须抓住的大生意。除了算力之外,大模型能够提高云计算的附加值,直接提升毛利。IaaS是低毛利生意...……更多
华为联合WPS AI,见证昇腾大模型推理应用启航
...华为联合WPS AI等11 家生态伙伴及客户发布基于昇腾大模型推理解决方案的五大场景优秀实践,共同见证人工智能大模型在“文本生成、文生视图、辅助编程、终端应用、智能办公/客服”应用启航的历史时刻。昇腾大模型推理解...……更多
美国政府加速限制,要求英伟达立即停止A800/H800芯片销往中国|硅基世界
...又联合攻关大模型训练难题,让昇思星火大模型训练效率推理效率翻番。未来基于昇腾生态的“飞星一号”平台,不仅使训练效率翻番以及高效稳定的训练迭代,而且还将形成更大的专属模型。IDC最新的报告指出,随着政府的支...……更多
...这意味着,用户每发一次调用就要花费大量token,每一次推理都是成本,消费端用户常用的按月收费模式可能在AI调用上成本高企。而在企业知识库等安全性要求较高的功能上,金山办公会用自研小模型,高性价比显卡做推理,...……更多
英伟达RTX 40 Super显卡亮相CES!
...消费电子展(CES)的演讲中宣布推出三款面向消费者的全新显卡,这将让游戏玩家、设计师和其他电脑用户在个人电脑(PC)上更好地利用人工智能(AI)。美股盘中,英伟达股价大涨约4.5%,再度刷新历史新高。另有报道称,英伟达计划...……更多
聊聊ChatGPT:大厂纷纷布局 万亿市场背后的商业逻辑
...媒体表示,ChatGPT的大火将促使算力需求大大增加,350瓦推理芯片会成为常态,技术上会推动大模型压缩到达一个新高潮,同时企业和个人的服务有许多可以基于类似技术构建。高性能计算芯片是一切AI的底层基础,目前AI芯片主...……更多
英伟达RTX 5090显卡仍采用双风扇设计 体积几乎不变
...供不应求,而客户也需要更加强劲的显卡来实现AI运算与推理,而英伟达已经发布了Blackwell架构,接下来就是RTX5090显卡了,有消息称尽管英伟达RTX5090显卡的性能十分地强劲,但是仍然采用双风扇设计,不知道用了什么黑科技。...……更多
更多关于科技的资讯:
索泰ZBOX迷你主机特惠到手2799元:i7-10750H+RTX 2070S
快科技8月14日消息,索泰ZBOX迷你主机准系统开启特惠,仅需2799元。据悉,索泰ZBOX迷你主机搭载10代酷睿i7-10750H处理器
2024-08-14 17:17:00
2024年剧王实至名归!腾讯:《庆余年2》上半年播放量中国第一
快科技8月14日消息,今日,腾讯发布第二季度财报,财报显示,腾讯二季度营收1611.2亿元,第二季度调整后净利润573
2024-08-14 17:17:00
Steam商店详情页新规:禁止为其它游戏/商店打广告
Steam今日发布“商店页面的文字描述”新规,调整商店详情页内可以包含和不可以包含的内容,禁止开发商利用商店页描述为其他商店或游戏插入链接进行宣传
2024-08-14 17:17:00
腾讯发布二季度财报:微信月活账户13.7亿 QQ仅5.7亿
快科技8月14日消息,腾讯今日发布截至6月30日的2024年第二季度财报:营收为1611亿元,同比增长8%。权益持有人应占利润为476亿元
2024-08-14 17:17:00
60度电池跑620公里 小鹏M03售价疑泄露:13.59万起
快科技8月14日消息,小鹏MONA系列首车M03将于本月27日上市,目前已经开售,最大的悬念就是价格了,而今日下午,懂车帝疑似曝光了这款车的起售价
2024-08-14 17:17:00
女网红狗头萝莉上海卖煎饼太火爆!女子自称长得好看不想排队
快科技8月14日消息,据媒体报道,女网红“狗头萝莉”日前来到上海摆摊卖煎饼,引来众多粉丝和路人的排队打卡购买。由于需要排很长时间的队
2024-08-14 17:47:00
169元 超频三发布降龙RC400-53风冷散热器:四热管下压式设计
快科技8月14日消息,超频三推出了新款降龙RC400-53风冷散热器,采用了四热管下压式设计,售价为169元,厂商提供两年质保
2024-08-14 17:47:00
三星折叠屏在中国仅剩3%!全球份额从93%暴降至23%
快科技8月14日消息,曾经在折叠屏手机市场占据绝对优势的三星,目前在中国市场的份额已跌至3%,与2023年一季度相比下降超过15个百分点
2024-08-14 17:47:00
可口可乐、奥利奥互推融合限定口味产品
文|李振兴奥利奥味的可口可乐、可口可乐味的奥利奥,你会选哪个?8月13日,可口可乐和奥利奥两大品牌宣布,即将于9月推出两款独家限定版产品
2024-08-14 18:08:00
Intel新一代至强6900P现身:120个纯大核、总缓存达757MB
Intel 6月份发布了新一代至强6的小核分支,代号Sierra Forest的至强6000E系列,后续还有大核分支,代号Granite Rapids的至强6000P系列
2024-08-14 18:17:00
最新研究:大蒜真的能降血脂、降血糖 但有个前提
最近,网上流传说有新研究指出大蒜能降血糖、降胆固醇,被多家媒体报道。大蒜到底营养如何?真的能降血糖、降胆固醇吗?相关报道截图大蒜降血糖
2024-08-14 18:17:00
几率近半!新研究:银河系与仙女座大星系可能在未来100亿年内相撞
快科技8月14日消息,据媒体报道,芬兰赫尔辛基大学最新的研究表明,仙女座大星系与银河系在未来100亿年内相撞的可能性有50%
2024-08-14 18:17:00
6TB大空间 极速上传下载:夸克网盘SVIP年卡128元官方直降
夸克SVIP年卡官方定价300元,日常大促价168元,现直降至128元。6TB超大空间,多端丝滑备份,极速上传下载,智能整理文件
2024-08-14 18:17:00
宝骏云海首搭灵眸智驾2.0 Max:20万内唯一量产的无图城市领航
快科技8月14日消息,宝骏汽车与卓驭科技(原大疆车载)于8月14日联合宣布,宝骏云海将首次搭载最新的智能驾驶技术——灵眸智驾2
2024-08-14 18:47:00
火星发现巨型液态水海洋!可惜 深藏地下20公里
火星,这颗红色星球看似生命的荒漠,但其实暗藏玄机,最近就被发现其地下存在一个巨大的液态水海洋,其中的水如果铺满地球,深度可达1公里
2024-08-14 19:17:00