• 我的订阅
  • 头条热搜
...AI)系统在编码、战略规划和机器人科学三个领域执行复杂推理任务。聊天生成预训练转换器(ChatGPT)和“克劳德3-奥普斯”(Claude 3 Opus)等大语言模型(LLM),根据人类输入“提示词”处理和生成文本。研究人员说,过去18个月,这些技...……更多
引领消费金融数智化时代 招联发布行业首个开源金融大模型“招联智鹿”
...模型榜单,专门用于评估语言模型在中文语境下的知识和推理水平。(“智鹿”登上C-Eval榜单TOP 20、CMMLU榜单TOP 10) 而就在此前不久,2023年国际计算机视觉会议ICCV于法国落幕。招联与中科大完成的“3D动作表示学习”“扩散生...……更多
阿里云全面升级GPU云服务:AI大模型推理性能可提升100%
...云推出全面升级的GPU云服务,通过全新优化GPU套件,多GPU推理服务性能可最大提升100%。针对调用GPU算力最常用的容器技术,阿里云推出ACK云原生AI套件,帮助开发者及企业更高效地开发和部署AI应用,加速大模型应用落地。随着A...……更多
清华「天眸芯」登Nature封面:全球首款类脑互补视觉芯片
...种极端场景下,该系统实现了低延迟、高性能的实时感知推理,展现了其在智能无人系统领域的巨大应用潜力。天眸芯的成功无疑是智能感知芯片领域的一个重大突破。它不仅为新一代 AI 技术的发展提供了算力支持,更为自动...……更多
突破时间序列组合推理难题!南加大发布一站式多步推理框架TS-Reasoner
【新智元导读】TS-Reasoner是一个创新的多步推理框架,结合了大型语言模型的上下文学习和推理能力,通过程序化多步推理、模块化设计、自定义模块生成和多领域数据集评估,有效提高了复杂时间序列任务的推理能力和准确性...……更多
教育高质量发展看山西:决赛一等奖+应用创新奖+最佳人气奖!山西大学超算队在ASC世界大学生超算竞赛再获佳绩!
...集群,运行优化国际通行基准测试HPL&HPCG、大语言模型推理优化LLM、石油开采渗流数值模拟OpenCAEPoro、火星大气模拟GoMars、新型材料非平庸电子结构计算WannierTools等前沿科学与工程应用,并参加英文答辩。面对竞争激烈的总决...……更多
万字技术干货!LLM工程师必读量化指南,可视化图解揭秘大模型如何压缩
...型的参数可能超过数十亿,通常需要显存较大的GPU来加速推理过程。因此,越来越多的研究开始关注如何缩小模型,比如改进训练方法或使用适配器。该领域的一项主要技术被称为量化(quantization)。ML工程师Maarten Grootendorst撰...……更多
面壁智能的端侧大模型面壁MiniCPM正式亮相
...大的底层支撑,先是算力方面,凭借全流程高效infra10倍推理加速,能够将成本降低90%;其次在算法方面,面壁模型通过高效模型训练配置实现模型能力快速形成;数据处理方面,凭借现代化数据工厂形成从数据治理到多维评测...……更多
NPU全球出货超1亿颗!芯原如何迎战大模型时代的边缘计算变革?
...C9X00AI是AI-GPU/AI-PC,Tensor Core GPU IP CCTC-MP则面向大语言模型推理、训练。芯原NPU IP研发副总裁查凯南谈道,NPU的发展近年来大概有三个方向:首先是DEEP AI,在很多嵌入式设备里面,要把AI跟其它的处理IP做比较紧耦合的绑定,可以...……更多
挑战Scaling Law,Meta发布移动端350M小模型MobileLLM,性能比肩7B LLaMA-v2
...做个假设,如果把GPT-4(大约有1万亿参数)以50tokens/s的推理速度部署在生活中,你需要什么样的硬件?答案是1亿个H100 GPU。别说是移动设备了,家里都放不下。那如果降低标准,用LLaMA-v2 7B这样的模型,再加上8-bit量化呢?简单...……更多
Mamba再次挑战霸主Transformer!首个通用Mamba开源大模型一鸣惊人
...来处理不断增长的上下文窗口。如果资源没有相应扩展,推理速度会变慢,最终无法处理超过某个固定长度的文本。为了解决这些难题,状态空间语言模型(SSLM)架构应运而生,该架构通过在处理单词时持续更新「状态」,已...……更多
大模型步入推理Scaling时代,SambaNova如何挑战英伟达的霸主地位
...震。o1 能像人类一样「思考」复杂问题,拥有优秀的通用推理能力。在未经专门训练的情况下,o1 能够直接拿下数学奥赛金牌,甚至能在博士级别的科学问答环节上超越人类专家。在性能跃升之外,更重要的是,它揭示了大模型...……更多
AI大模型有望再扩1000倍!剑桥耶鲁康奈尔:PNN是变革关键
...围内吗?能在智能手机或传感器这些边缘设备上进行本地推理吗?要回答这些问题,我们需要重新思考AI模型的工作和训练方式,尤其是要转换视角,首先考虑底层硬件的物理约束。或许,物理神经网络PNN(physical neural network)...……更多
谷歌发布gemma2大语言模型,共有两种大小
...亿参数(27B)两种大小。Gemma2大语言模型相比较第一代,推理性能更高、效率更高,并在安全性方面取得了重大进步。谷歌在新闻稿中表示,Gemma2-27B模型的性能媲美两倍规模的主流模型,而且只需要一片英伟达H100ensorCoreGPU或TPU...……更多
AI推理速度提升超10倍,Groq LPU能否取代英伟达GPU?
...美国人工智能初创公司Groq最新推出的面向云端大模型的推理芯片引发了业内的广泛关注。其最具特色之处在于,采用了全新的Tensor Streaming Architecture (TSA) 架构,以及拥有超高带宽的SRAM,从而使得其对于大模型的推理速度提高了1...……更多
...NO,希沃新一代产品可以缩短延迟,提高吞吐量,加速 AI 推理过程,同时保持精度,缩小模型占用空间,优化教学硬件的使用。使用生成式 AI 的教育场景虽然有助于个性化教育的开展,但也可能会引发潜在的数据安全以及个人...……更多
GPU训Llama 3.1疯狂崩溃,竟有大厂用CPU服务器跑千亿参数大模型?
...The」。完整的回复,花了整整20个小时熟悉模型的训练和推理的朋友都知道,这些事情一点都不奇怪。集群搭建(GPU配置、网络设计、轨道优化等)、集群管理(实时监控、故障排除等)……个个都是「拦路虎」。对于缺乏相关...……更多
摆脱Transformer依赖?这家AI初创公司推出国内首个非Attention机制大模型
...能效果——记忆能力提升3倍、速度提升7倍的同时,实现推理吞吐量的5倍提升。 至于为何另辟蹊径,寻求非Transformer的大模型路径,岩芯数智CEO刘凡平指出,以大规模著称的Transformer,在实际应用中的高算力和高成本,让不少中...……更多
ASC24超算大赛启动会在京举行,大模型推理等成为赛题
...在上海大学举行的总决赛。据悉,今年的赛题包括大模型推理优化、渗流数值模拟,以及国际通行基准测试HPL和HPCG等。来自高性能计算和人工智能领域的中国科学院院士、中国工程院院士、专家学者及参赛师生代表等参加了启...……更多
第一个100%开源的MoE大模型,7B的参数,1B的推理成本
...语言模型 (LM) 在各种任务上取得了重大进展,但在训练和推理方面,性能和成本之间仍然需要权衡。对于许多学者和开发人员来说,高性能的 LM 是无法访问的,因为它们的构建和部署成本过高。改善成本 - 性能的一种方法是使...……更多
...大模型的超低价格引发行业震动。据悉,豆包主力模型的推理输入价格只有0.0008元/千Tokens,比行业便宜99.3%。对此,谭待坦言,“降价是用技术优化成本来实现的。如果只是补贴,用亏损换收入是不可持续的,火山引擎不会走这...……更多
OPPO:用AndesGPT迎接下一个十年
...打法:在AndesGPT的定义中,“对话”是GPT记忆能力、逻辑推理能力、模糊意图理解能力、生成能力等等的一个集合,作为大模型与用户沟通的桥梁,“对话”的重要性不言而喻。面对这座大山,坚持长期主义的OPPO做出了与“愚公...……更多
英伟达地表最强,黄教主被称作AI界“霉霉”
...来支持高达10万亿参数的AI模型训练和大语言模型的实时推理。有望在数据处理、工程模拟、电子设计自动化、计算机辅助药物设计、量子计算和生成人工智能等领域实现新的突破。用黄仁勋的原话来说,它就是“当今世界上最...……更多
...13日在上海大学举行的总决赛。预赛赛题主要聚焦大模型推理优化和渗流数值模拟两个技术领域。当前,随着大模型开发和应用的快速发展,对大模型推理性能和成本的优化受到业界重视。本届大赛的大语言模型推理优化赛题要求...……更多
中国也有Sora同款训练架构公司,清华班底,智谱也投了 | 36氪首发
...经理。CTO鲍凡在清华大学计算机系获得博士学位,在加速推理、可控生成、基础架构、训练策略等方面已发表十余篇顶会论文。首席科学家为清华大学计算机系人工智能实验室主任、智源研究院首席科学家朱军。可以说,2023年...……更多
...能设备或家庭服务器上,使用存储在本地的个人数据进行推理和学习的人工智能基础模型。它不仅可以像公共大模型那样通过对话提供答案、创作内容,而且更精准、贴切,甚至根据用户的思维模式预测任务,并自主寻找解决方...……更多
商汤升级“日日新5.0”大模型,对标GPT-4Turbo
...用混合专家架构,超10TB tokens训练,覆盖大量合成数据,推理时上下文窗口达200K左右。云、端、边全栈大模型产品矩阵中,用于终端设备的“商汤端侧大模型”可满足各类终端用户对大模型技术的应用需求。“日日新5.0”和GPT-4...……更多
华为预测大模型首次投入钢铁实时生产控制,宝钢:将继续场景拓展
...优于目前现场使用的控制“小模型”?基于大数据分析的推理计算时延性是否能满足现场高速、实时的生产控制要求?诸如此类的问题团队此前一直在思考。团队决定率先选择控制精度要求高、生产节奏快的场景,也就是热轧自...……更多
无问芯穹夏立雪:破解算力焦虑,我做了大模型算力领域的“淘宝”丨36氪专访
...巨大,英伟达一家又无法满足所有的全球AI大模型训练、推理的需求;另一方面,英伟达以外的多元异构GPU也在快速发展中,AI算力生态分散,难以被整合起来,供应给亟需算力的大模型公司。夏立雪观察到,现下的算力焦虑,...……更多
世界上最快的AI芯片,是何方神圣?
...:英特尔、IBM、高通等为代表的科技巨头企业,斯坦福、清华为代表的高校/研究机构以及初创企业。根据笔者之前与英特尔研究院对话中获悉,数字CMOS型是目前最易产业化的形式,一方面,技术和制造成熟度高,另一方面,不...……更多
更多关于科技的资讯:
中国人平均智商全球第1!韩国第3 美国排名27
快科技1月6日消息,据媒体报道,国际智商登记处最新数据显示,中国国民的平均智商为107.43,位居全球首位。据了解,这一排名基于对全球近140万人的测试结果
2025-01-06 17:47:00
近几年,游戏市场飞速发展,爆款层出不穷,一些游戏凭借丰富的剧情吸引了一批忠实玩家。为了能够更好地体验游戏剧情,不少玩家夜以继日
2025-01-06 17:47:00
2024大模型年度“标王”诞生!科大讯飞中标金额超2-6名之和
快科技1月6日消息,近日,智能超参数发布了《中国大模型中标项目监测报告(2024)》,盘点了2024年全年大模型中标项目的整体情况及各厂商的表现
2025-01-06 17:47:00
销量突破20万!捷途旅行者纪念版正式上市:售19.39万元
快科技1月6日消息,捷途旅行者为庆祝销量突破20万辆,推出了限量3000台的20万纪念版车型,售价为19.39万元。这款纪念版车型在外观和内饰上均装饰有专属纪念标识
2025-01-06 17:47:00
男子意外触碰氢氟酸手指烂出黑洞:腐蚀性极强、可侵蚀人体骨骼
友情提示:本文配图或引发不适,情谨慎观看。快科技1月6日消息,使用化学物品时,一定要注意防护,不能心存侥幸,否则悔之晚矣
2025-01-06 17:47:00
仅1199元 小米发布米家净水器N1 800G:5年长效RO滤芯
快科技1月6日消息,今天小米发布了一款小米发布米家净水器N1 800G,原价1229元,新品到手价1199元。米家净水器N1 800G具备800G的大通量设计
2025-01-06 17:47:00
九测科技丨铁路安全防线再升级,闸机测酒仪严把岗前筛查关!
在繁忙的铁路系统中,每一位工作人员都肩负着保障乘客安全、维护铁路正常运行的重要职责。否则,任何一个微小的疏忽,尤其是酒后上岗这一行为
2025-01-06 17:57:00
九测科技丨地铁轻轨安全升级,应用闸机测酒仪筑起酒后上岗防火墙
在都市的脉络中,地铁与轻轨如同繁忙的血管,输送着城市的活力与希望。每天,数以万计的乘客通过这些交通工具穿梭于城市的每一个角落
2025-01-06 18:02:00
忠艺隆五金丨钣金外壳加工过程中产生划痕,该怎么办?
钣金外壳加工过程中,偶尔会产生划痕,这无疑是对产品质量的严峻挑战。毕竟,这些看似微不足道的划痕,却如同细微的瑕疵,在钣金外壳的华丽外衣上留下难以抹去的印记
2025-01-06 18:16:00
AOKZOE A1X掌机预热:锐龙AI 9 HX 370、配OCulink接口
快科技1月6日消息,掌机制造商AOKZOE现公布了一款型号为AOKZOE A1X新品,该机主打AMD锐龙AI 9 HX 370处理器
2025-01-06 18:17:00
女子买机票中奖近3万 第一反应误以为是诈骗险错过
快科技1月6日消息,据媒体报道,近日,浙江衢州的吴女士在跨年夜迎来了人生的惊喜时刻,她在飞猪平台预订机票时意外中得了免单大奖
2025-01-06 18:17:00
公司用消费券抵员工工资 负责人被约谈 律师:违反劳动法规定
1月6日消息,近日,吉林长春一公司用消费券抵工资的报道引发关注。最新消息显示,该公司负责人已被约谈,相关部门表示,如查实将第一时间责令公司改正违法行为
2025-01-06 18:17:00
雷军:小米SU7标准版是很多车型的天花板!
快科技1月6日消息,今日有博主分享了自己的小米SU7标准版用车感受。对此,雷军转发并评论道:“‘小米SU7标准版,不是低配
2025-01-06 18:17:00
全球首台!20MW级蒸发冷却半直驱永磁风力发电机下线
快科技1月6日消息,据报道,中车永济电机公司携手中国科学院赣江创新研究院,近期共同成功研发并下线了全球首台20兆瓦(MW)级别的蒸发冷却半直驱永磁风力发电机
2025-01-06 18:47:00
为什么感染甲流这么疼啊:现在打疫苗还来得及吗
近期,流感高发。据中国疾控中心最新数据,目前流感病毒阳性率持续上升,其中 99%以上为甲流。专家提醒:除了儿童、患有慢性基础疾病的人群外
2025-01-06 18:47:00