• 我的订阅
  • 头条热搜
英伟达发布全新rtx500和rtx1000笔记本电脑
...:提供高达2倍于上一代的吞吐量,加速深度学习训练、推理和基于AI的创意工作负载。Ada架构CUDA核心:与上一代相比可提供30%单精度浮点(FP32)吞吐量,从而显著提升图形和计算工作负载的性能。GPU专用显存:RTX500拥有4GBGPU显存...……更多
清华领衔发布多模态评估MultiTrust:GPT-4可信度有几何?
...息时可能出现的错误回答,以及在涉及安全问题的多模态推理中出现误判。尽管模型可以正确识别图中的酒水,但在进一步的推理中,部分模型并不能意识到其与头孢药物共用的潜在风险。图7 模型在涉及安全问题的推理中出现...……更多
推理性能提升30倍!英伟达发布史上最强AI芯片,黄仁勋:将成最成功产品
...结合了两个B200 GPU和一个独立的Grace CPU,将能够使大模型推理工作负载的性能提升30倍,同时提高效率。相比于H100,它可以“将成本和能源消耗降至1/25”。这就意味着,以前训练一个拥有1.8万亿参数的模型需要8000个Hopper GPU 和15...……更多
...AI)系统在编码、战略规划和机器人科学三个领域执行复杂推理任务。聊天生成预训练转换器(ChatGPT)和“克劳德3-奥普斯”(Claude 3 Opus)等大语言模型(LLM),根据人类输入“提示词”处理和生成文本。研究人员说,过去18个月,这些技...……更多
引领消费金融数智化时代 招联发布行业首个开源金融大模型“招联智鹿”
...模型榜单,专门用于评估语言模型在中文语境下的知识和推理水平。(“智鹿”登上C-Eval榜单TOP 20、CMMLU榜单TOP 10) 而就在此前不久,2023年国际计算机视觉会议ICCV于法国落幕。招联与中科大完成的“3D动作表示学习”“扩散生...……更多
清华「天眸芯」登Nature封面:全球首款类脑互补视觉芯片
...种极端场景下,该系统实现了低延迟、高性能的实时感知推理,展现了其在智能无人系统领域的巨大应用潜力。天眸芯的成功无疑是智能感知芯片领域的一个重大突破。它不仅为新一代 AI 技术的发展提供了算力支持,更为自动...……更多
阿里云全面升级GPU云服务:AI大模型推理性能可提升100%
...云推出全面升级的GPU云服务,通过全新优化GPU套件,多GPU推理服务性能可最大提升100%。针对调用GPU算力最常用的容器技术,阿里云推出ACK云原生AI套件,帮助开发者及企业更高效地开发和部署AI应用,加速大模型应用落地。随着A...……更多
教育高质量发展看山西:决赛一等奖+应用创新奖+最佳人气奖!山西大学超算队在ASC世界大学生超算竞赛再获佳绩!
...集群,运行优化国际通行基准测试HPL&HPCG、大语言模型推理优化LLM、石油开采渗流数值模拟OpenCAEPoro、火星大气模拟GoMars、新型材料非平庸电子结构计算WannierTools等前沿科学与工程应用,并参加英文答辩。面对竞争激烈的总决...……更多
突破时间序列组合推理难题!南加大发布一站式多步推理框架TS-Reasoner
【新智元导读】TS-Reasoner是一个创新的多步推理框架,结合了大型语言模型的上下文学习和推理能力,通过程序化多步推理、模块化设计、自定义模块生成和多领域数据集评估,有效提高了复杂时间序列任务的推理能力和准确性...……更多
万字技术干货!LLM工程师必读量化指南,可视化图解揭秘大模型如何压缩
...型的参数可能超过数十亿,通常需要显存较大的GPU来加速推理过程。因此,越来越多的研究开始关注如何缩小模型,比如改进训练方法或使用适配器。该领域的一项主要技术被称为量化(quantization)。ML工程师Maarten Grootendorst撰...……更多
面壁智能的端侧大模型面壁MiniCPM正式亮相
...大的底层支撑,先是算力方面,凭借全流程高效infra10倍推理加速,能够将成本降低90%;其次在算法方面,面壁模型通过高效模型训练配置实现模型能力快速形成;数据处理方面,凭借现代化数据工厂形成从数据治理到多维评测...……更多
NPU全球出货超1亿颗!芯原如何迎战大模型时代的边缘计算变革?
...C9X00AI是AI-GPU/AI-PC,Tensor Core GPU IP CCTC-MP则面向大语言模型推理、训练。芯原NPU IP研发副总裁查凯南谈道,NPU的发展近年来大概有三个方向:首先是DEEP AI,在很多嵌入式设备里面,要把AI跟其它的处理IP做比较紧耦合的绑定,可以...……更多
挑战Scaling Law,Meta发布移动端350M小模型MobileLLM,性能比肩7B LLaMA-v2
...做个假设,如果把GPT-4(大约有1万亿参数)以50tokens/s的推理速度部署在生活中,你需要什么样的硬件?答案是1亿个H100 GPU。别说是移动设备了,家里都放不下。那如果降低标准,用LLaMA-v2 7B这样的模型,再加上8-bit量化呢?简单...……更多
Mamba再次挑战霸主Transformer!首个通用Mamba开源大模型一鸣惊人
...来处理不断增长的上下文窗口。如果资源没有相应扩展,推理速度会变慢,最终无法处理超过某个固定长度的文本。为了解决这些难题,状态空间语言模型(SSLM)架构应运而生,该架构通过在处理单词时持续更新「状态」,已...……更多
大模型步入推理Scaling时代,SambaNova如何挑战英伟达的霸主地位
...震。o1 能像人类一样「思考」复杂问题,拥有优秀的通用推理能力。在未经专门训练的情况下,o1 能够直接拿下数学奥赛金牌,甚至能在博士级别的科学问答环节上超越人类专家。在性能跃升之外,更重要的是,它揭示了大模型...……更多
AI大模型有望再扩1000倍!剑桥耶鲁康奈尔:PNN是变革关键
...围内吗?能在智能手机或传感器这些边缘设备上进行本地推理吗?要回答这些问题,我们需要重新思考AI模型的工作和训练方式,尤其是要转换视角,首先考虑底层硬件的物理约束。或许,物理神经网络PNN(physical neural network)...……更多
谷歌发布gemma2大语言模型,共有两种大小
...亿参数(27B)两种大小。Gemma2大语言模型相比较第一代,推理性能更高、效率更高,并在安全性方面取得了重大进步。谷歌在新闻稿中表示,Gemma2-27B模型的性能媲美两倍规模的主流模型,而且只需要一片英伟达H100ensorCoreGPU或TPU...……更多
AI推理速度提升超10倍,Groq LPU能否取代英伟达GPU?
...美国人工智能初创公司Groq最新推出的面向云端大模型的推理芯片引发了业内的广泛关注。其最具特色之处在于,采用了全新的Tensor Streaming Architecture (TSA) 架构,以及拥有超高带宽的SRAM,从而使得其对于大模型的推理速度提高了1...……更多
...NO,希沃新一代产品可以缩短延迟,提高吞吐量,加速 AI 推理过程,同时保持精度,缩小模型占用空间,优化教学硬件的使用。使用生成式 AI 的教育场景虽然有助于个性化教育的开展,但也可能会引发潜在的数据安全以及个人...……更多
GPU训Llama 3.1疯狂崩溃,竟有大厂用CPU服务器跑千亿参数大模型?
...The」。完整的回复,花了整整20个小时熟悉模型的训练和推理的朋友都知道,这些事情一点都不奇怪。集群搭建(GPU配置、网络设计、轨道优化等)、集群管理(实时监控、故障排除等)……个个都是「拦路虎」。对于缺乏相关...……更多
摆脱Transformer依赖?这家AI初创公司推出国内首个非Attention机制大模型
...能效果——记忆能力提升3倍、速度提升7倍的同时,实现推理吞吐量的5倍提升。 至于为何另辟蹊径,寻求非Transformer的大模型路径,岩芯数智CEO刘凡平指出,以大规模著称的Transformer,在实际应用中的高算力和高成本,让不少中...……更多
ASC24超算大赛启动会在京举行,大模型推理等成为赛题
...在上海大学举行的总决赛。据悉,今年的赛题包括大模型推理优化、渗流数值模拟,以及国际通行基准测试HPL和HPCG等。来自高性能计算和人工智能领域的中国科学院院士、中国工程院院士、专家学者及参赛师生代表等参加了启...……更多
第一个100%开源的MoE大模型,7B的参数,1B的推理成本
...语言模型 (LM) 在各种任务上取得了重大进展,但在训练和推理方面,性能和成本之间仍然需要权衡。对于许多学者和开发人员来说,高性能的 LM 是无法访问的,因为它们的构建和部署成本过高。改善成本 - 性能的一种方法是使...……更多
...大模型的超低价格引发行业震动。据悉,豆包主力模型的推理输入价格只有0.0008元/千Tokens,比行业便宜99.3%。对此,谭待坦言,“降价是用技术优化成本来实现的。如果只是补贴,用亏损换收入是不可持续的,火山引擎不会走这...……更多
OPPO:用AndesGPT迎接下一个十年
...打法:在AndesGPT的定义中,“对话”是GPT记忆能力、逻辑推理能力、模糊意图理解能力、生成能力等等的一个集合,作为大模型与用户沟通的桥梁,“对话”的重要性不言而喻。面对这座大山,坚持长期主义的OPPO做出了与“愚公...……更多
英伟达地表最强,黄教主被称作AI界“霉霉”
...来支持高达10万亿参数的AI模型训练和大语言模型的实时推理。有望在数据处理、工程模拟、电子设计自动化、计算机辅助药物设计、量子计算和生成人工智能等领域实现新的突破。用黄仁勋的原话来说,它就是“当今世界上最...……更多
...13日在上海大学举行的总决赛。预赛赛题主要聚焦大模型推理优化和渗流数值模拟两个技术领域。当前,随着大模型开发和应用的快速发展,对大模型推理性能和成本的优化受到业界重视。本届大赛的大语言模型推理优化赛题要求...……更多
中国也有Sora同款训练架构公司,清华班底,智谱也投了 | 36氪首发
...经理。CTO鲍凡在清华大学计算机系获得博士学位,在加速推理、可控生成、基础架构、训练策略等方面已发表十余篇顶会论文。首席科学家为清华大学计算机系人工智能实验室主任、智源研究院首席科学家朱军。可以说,2023年...……更多
...能设备或家庭服务器上,使用存储在本地的个人数据进行推理和学习的人工智能基础模型。它不仅可以像公共大模型那样通过对话提供答案、创作内容,而且更精准、贴切,甚至根据用户的思维模式预测任务,并自主寻找解决方...……更多
商汤升级“日日新5.0”大模型,对标GPT-4Turbo
...用混合专家架构,超10TB tokens训练,覆盖大量合成数据,推理时上下文窗口达200K左右。云、端、边全栈大模型产品矩阵中,用于终端设备的“商汤端侧大模型”可满足各类终端用户对大模型技术的应用需求。“日日新5.0”和GPT-4...……更多
更多关于科技的资讯:
雷军回应小米SU7 Ultra车标是金的:花80万买车 满足下虚荣感不过分
快科技2月6日消息,近日,有网友发现,小米SU7 Ultra量产版的车标变成了碳纤维+金色,对此雷军表示,车标是金的,随后引发网友热议
2025-02-06 12:43:00
河南老板拿170万的玛莎拉蒂当套圈奖品 有人半小时花300元
快科技2月6日消息,日前,“河南商丘一老板用170万元的玛莎拉蒂当套圈奖品”的话题,引起网友关注。网友发布的视频中,一处套圈摊位中间摆放了一台玛莎拉蒂总裁
2025-02-06 12:43:00
GaaS陷入低潮 大锤创始人遭辞退
潜水教练出身的迈克尔·康德雷(Michael Condrey,图左)以EA Visceral工作室首席运营官身份与格伦·斯科菲尔德(Glen Schofield
2025-02-06 12:43:00
奔驰:30年前我们发布了ESP 彻底改写了汽车安全史
快科技2月6日消息,梅赛德斯-奔驰今日发文纪念ESP(电控车辆稳定行驶系统)全球首次亮相30周年。1995年2月6日,奔驰与博世合作研发的ESP在第7代S级车(W140系列)上首次应用
2025-02-06 13:43:00
《哪吒2》成中国影史票房新冠军 手办爆火售罄 泡泡玛特回应
快科技2月6日消息,今日,电影《哪吒之魔童闹海》总票房(含点映及预售)超越《长津湖》,位列中国电影票房总榜榜首,影片也带火了盲盒手办的销售
2025-02-06 13:43:00
油车最后一口气要断了!李书福:发展绿色甲醇是全球能源大势所趋
快科技2月6日消息,据媒体报道,今日,吉利控股集团董事长李书福受邀出席中国石化战略研讨会,并发表了主题为《跨越油气时代
2025-02-06 13:43:00
RTX 5080/5090系列显卡玩《绝地求生》崩溃!开发商:建议安装英伟达最新驱动
快科技2月6日消息,日前,《绝地求生》贴吧有网友反馈,称使用RTX 5090D显卡玩“吃鸡”崩溃,重新下载、重装系统都没有解决问题
2025-02-06 14:13:00
华为手机回归全球:2月18马来西亚发新品 上来就是三折Mate XT
快科技2月6日消息,在中国市场站稳后,华为手机开始重回全球,官方已宣布2月18日将马来西亚吉隆坡举行产品发布会。从口号中的“extraordinary(非凡)”“ultimate”等字样来看
2025-02-06 14:13:00
一家人高速上停车在后备箱支摊做饭 孩子饿没办法:罚款200元扣9分
2月6日消息,居国内媒体报道称,一家4口高速路上停车支摊做饭的行为,引来了网友的吐槽,不顾自己安全就算了,也不考虑别人吗
2025-02-06 14:13:00
向Ultra看齐!曝华为Pura 80 Pro升级1英寸主摄
快科技2月6日消息,博主数码闲聊站爆料了华为Pura 80系列的参数细节,该系列的Ultra版本独家首发国产1英寸主摄
2025-02-06 14:13:00
收购铃空游戏股权并推出$SHOWA代币,Oneness想用Web3重塑《昭和米国物语》的价值
‍‍文 | 刘士武 自《黑神话:悟空》引爆2024年中国主机游戏市场后,部分在研游戏大作也纷纷走到了台前。其中,由中国厂商铃空游戏开发的开放世界冒险游戏《昭和米国物语》便是最受期待的作品之一
2025-02-06 14:30:00
苍老师还记得吗!苍井空问候国人春节过得好吗 网友喊话快换苹果华为最新款
快科技2月6日消息,农历春节都基本过完了,“德艺双馨”的苍井空老师也更新了自己的微博,询问国内粉丝春节过的如何。苍井空在微博上喊话
2025-02-06 14:43:00
没有“5年分期0利息”:都跟不上车圈蛇年价格战
开年就开卷,今年车圈卷什么?新春开工第一天,车圈新一轮“价格战”正式打响,特斯拉率先推出优惠组合套餐,小鹏、智己等多家车企同日发布优惠政策
2025-02-06 14:43:00
奥之心重现经典,OM-3震撼登场!三镜齐发,锦上添花!
复古的经典设计和创意性的摄影表现能够激发情感共鸣无反相机“OMSYSTEMOM-3”正式发布配备“色彩/单色配置控制”功能
2025-02-06 14:45:00
微步获评国家网络威胁信息汇聚共享技术平台“突出贡献支撑单位”
近日,国家网络威胁信息汇聚共享技术平台(CNTISP)试运行总结表彰会在中国信息安全测评中心成功举办,对2024年度为平台试运行工作发挥重要作用的单位和个人进行了表彰和现场颁奖
2025-02-06 14:49:00