• 我的订阅
  • 头条热搜
3天把Llama训成Mamba,性能不降,推理更快!
...Mamba模型,并且设计了新的推测解码算法,加速了模型的推理。先来看一张其乐融融的图片(一眼AI):右边的小羊驼代表Llama,而左边的蛇(Mamba)也是我们的老熟人了。至于到底能不能其乐融融,咱就不管了,之所以有此场景...……更多
鄂维南院士领衔新作:大模型不止有RAG、参数存储,还有第3种记忆
...凡的性能而获得了前所未有的关注。然而, LLM 的训练和推理成本高昂,人们一直在尝试通过各种优化方法来降低成本。本文来自上海算法创新研究院、北京大学等机构的研究者受人类大脑记忆层次结构的启发,他们通过为 LLM ...……更多
00后华裔小哥哈佛辍学组团挑战英伟达,史上最快AI芯片Sohu推理性能超H100二十倍!
...元导读】史上最快Transformer芯片诞生了!用Sohu跑Llama 70B,推理性能已超B200十倍,超H100二十倍!刚刚,几位00后小哥从哈佛辍学后成立的公司Etached,宣布再融资1.2亿美元。有史以来最快的Transformer芯片,刚刚诞生了?去年21岁哈佛...……更多
Meta祭出三篇最详尽Llama微调指南!千字长文,0基础小白必备
...类型的信息:- 仅输入和输出文本,也就是少样本学习- 推理追踪:添加中间推理步骤,可参阅思维链(COT)提示- 计划和反思追踪:添加信息,教LLM计划和反思其解决问题的策略,可参阅ReACT 选择正确的适配方法要决定上述哪...……更多
真香!智谱大模型,有了首个免费的API
...同时,GLM-4 支持了更长的上下文、更强的多模态、更快的推理速度,以及更多并发请求,大大降低了推理成本。在此基础上发展出的 GLM-4-Flash,则带来了一系列技术优势:数据预训练:引入大语言模型进入数据筛选流程,使用 10...……更多
补齐Transformer规划短板又不放弃快速思考,Dualformer双重优势
...些解答或慢点思考。OpenAI ο1 模型的发布掀起了人们对 AI 推理过程的关注,甚至让现在的 AI 行业开始放弃卷越来越大的模型,而是开始针对推理过程进行优化了。今天我们介绍的这项来自 Meta FAIR 田渊栋团队的研究也是如此,其...……更多
亚马逊连甩6款大模型!推出3nm AI训练芯片,最强AI服务器算力爆表
...比,苹果已用Amazon Graviton、Inferentia等AWS芯片在机器学习推理工作负载方面实现了40%以上的效率提升,并预计在Trainium 2上预训练模型时,效率将提高50%。被亚马逊豪掷80亿美元投资的Anthropic,宣布与AWS共同构建面向机器学习训练...……更多
PyTorch官宣:告别CUDA,GPU推理迎来Triton加速新时代
...PyTorch官宣,借助OpenAI开发的Triton语言编写内核来加速LLM推理,可以实现和CUDA类似甚至更佳的性能。试问,有多少机器学习小白曾被深度学习框架和CUDA的兼容问题所困扰?又有多少开发者曾因为频频闪烁的警报「CUDA版本必须与...……更多
大模型步入推理Scaling时代,SambaNova如何挑战英伟达的霸主地位
...震。o1 能像人类一样「思考」复杂问题,拥有优秀的通用推理能力。在未经专门训练的情况下,o1 能够直接拿下数学奥赛金牌,甚至能在博士级别的科学问答环节上超越人类专家。在性能跃升之外,更重要的是,它揭示了大模型...……更多
北大推出全新机器人多模态大模型!面向通用和机器人场景的高效推理和操作
...码仓库 Trending Research 第一位。为了赋予机器人端到端的推理和操纵能力,本文创新性地将视觉编码器与高效的状态空间语言模型集成,构建了全新的 RoboMamba 多模态大模型,使其具备视觉常识任务和机器人相关任务的推理能力,...……更多
苹果让大模型学会偷懒:更快吐出第一个token,准确度还保住了
...小的 8B 版本可能也依然会有明显延迟。为了提升模型的推理效率,研究者想出了多种多样的方法,但其中很多都会让模型牺牲一些准确度。近日,苹果和 Meta AI 的一个研究团队提出了一种新方法,可在保证准确度不明显下降的...……更多
「学术版ChatGPT」登场!Ai2打造科研效率神器OpenScholar,让LLM帮你搞定文献综述
...78%~90%。 检索增强(retrieval-augmented)的语言模型可以在推理时检索并集成外部知识源,从而缓解上述问题。然而,许多此类系统依赖于黑盒API或通用的LLM ,既没有针对文献综合的任务进行优化,也没有搭配适合科研的开放式...……更多
国产大模型竞技场首超GPT-4o!零一万物GLM共同跻身Top10
...示了Yi-Lightning在不同场景上的能力。Yi-Lightning主打一个“推理速度更快,生成质量更好”。相比上半年Yi-Large,Yi-Lightning首包速度提升1倍,推理速度也提升了4成。像是翻译下面这种文学作品,Yi-Lightning不仅速度更快:而且用词...……更多
1-bit大模型还能再突破!新一代BitNet架构启用4位激活值
...为可以吃到4位(INT4/FP4)内核的计算红利,实现了更快的推理速度。BitNet a4.8仅激活55%的参数,并支持3 bit KV cache,进一步提升了大规模LLM部署和推理的效率。BitNet a4.8模型架构模型的整体架构如图1所示,BitNet a4.8采用了与BitNet b……更多
英伟达开源NVLM 1.0屠榜多模态!纯文本性能不降反升
...例如,OCRBench)的性能,但与低分辨率版本模型相比,在推理相关任务(例如,MMMU)上的准确率却会下降。此外,虽然开源的多模态大模型在视觉-语言任务上取得了非常亮眼的基准测试结果,但在纯文本任务上的性能却有显著...……更多
迎战GPT-4V!谷歌PaLI-3视觉语言模型问世,更小、更快、更强
... 和 ChartQA,它们不仅需要理解,还需要对图表进行强大的推理能力。对于这两个基准,PaLI-3 稍微落后于 PaLI-X。另外,研究人员还扩展了 PaLI-3 的功能,使其能够通过语言类似的输出来预测分割遮罩。实验结果表明,对于这种类...……更多
CPU,正在被AI时代抛弃?
...以通过语音识别技术被录入到病例系统中,随后大模型AI推理技术辅助进行智能总结和诊断,医生们撰写病例的效率显著提高。AI推理的应用不仅节省了时间,也保护了患者隐私;在法院、律所等业务场景中,律师通过大模型对...……更多
给小学数学题加句废话,OpenAI o1就翻车了,苹果论文质疑AI推理
苹果新论文:AI 大模型可能不会推理。AI 大模型(LLM)真的像我们理解的那样能「思考」或「推理」吗?最近,苹果的一篇论文探讨了这个问题,并且给出了一个倾向于「否」的答案。相关帖子被很多人围观。这篇题为「GSM-Symb...……更多
打乱/跳过Transformer层会怎样?最新研究揭开其信息流动机制
...被展示过了,但我喜欢你添加的新细节,特别是强调了“推理”类任务比其他任务受影响更大!还有不少学者、工程师也表示强烈推荐。敢打赌,其中一些见解最终将会用于改进Transformer。 其中的实验再次证实了:复制层对创...……更多
OpenAI发布免费新品GPT-4o:可对音频、视觉和文本实时推理,与人自然对话,功能秒杀Siri
...方面尤其出色。GPT-4o可以在音频、视觉和文本中进行实时推理,接受文本、音频和图像的任何组合作为输入,并生成文本、音频和图像的任何组合进行输出。它可以最短在232毫秒内响应音频输入,平均为320毫秒,这与人类在对话...……更多
OpenAI-o1思考替代法火了!焦剑涛高徒一作提出思考偏好优化
...,大模型能根据任务复杂度进行不同时间的思考。不限于推理性的逻辑或数学任务,一般问答也能思考的那种。最近畅销书《Python机器学习》作者Sebastian Raschka推荐了一项新研究,被网友们齐刷刷码住了。论文一作为华人学者Tian...……更多
AI大模型有望再扩1000倍!剑桥耶鲁康奈尔:PNN是变革关键
...围内吗?能在智能手机或传感器这些边缘设备上进行本地推理吗?要回答这些问题,我们需要重新思考AI模型的工作和训练方式,尤其是要转换视角,首先考虑底层硬件的物理约束。或许,物理神经网络PNN(physical neural network)...……更多
图灵奖得主Yoshua Bengio新作:Were RNNs All We Needed?
...常高效在测试时,循环序列模型会按顺序推出,从而使其推理更为高效。相反,传统 RNN 的瓶颈在于其训练,需要线性训练时间(通过时间反向传播),这导致其最终被淘汰。人们对循环序列模型重新产生兴趣,是因为许多新的...……更多
阿里云全面升级GPU云服务:AI大模型推理性能可提升100%
...云推出全面升级的GPU云服务,通过全新优化GPU套件,多GPU推理服务性能可最大提升100%。针对调用GPU算力最常用的容器技术,阿里云推出ACK云原生AI套件,帮助开发者及企业更高效地开发和部署AI应用,加速大模型应用落地。随着A...……更多
记者实测|速度更快成本更低,人机交互更自然,OpenAI新模型免费开放
...代表Omni,也就是“全能”的意思。据介绍,GPT-4o文本、推理、编码能力达到GPT-4 Turbo水平,速度是上一代AI大模型GPT-4 Turbo的两倍,但成本仅为GPT-4 Turbo的一半,视频、音频功能得到改善。OpenAI CEO奥尔特曼(Sam Altman)在博客中表...……更多
谷歌「诚意之作」,开源9B、27B版Gemma2,主打高效、经济!
... 2此次提供的90亿(9B)和270亿(27B)参数的两个版本,其推理性能和效率均优于第一代,并具有显著的安全性改进。事实上,270亿参数版本可以与体积超过其两倍的模型进行同等级别的竞争,并且提供了此前只有专有模型才能实...……更多
LLM仍然不能规划,刷屏的OpenAI o1远未达到饱和
...模型,一举创造了很多历史记录。o1 模型拥有真正的通用推理能力。在一系列高难基准测试中展现出了超强实力,相比 GPT-4o 有巨大提升,让大模型的上限从「没法看」直接上升到优秀水平,不专门训练直接数学奥赛金牌,甚至...……更多
OpenAI o1模型到博士水平了?复旦教授:没有真正推理能力,学到的还是概率相关性
...小尺寸版o1-mini。OpenAI官方发文称,新模型旨在解决复杂推理问题,训练模型在响应之前花更多时间思考,类似于人类的思考方式。“新模型在推理能力上代表了AI能力的新水平。”OpenAI称,该模型可以解决科学、编程和数学等更...……更多
Meta版慢思考来了!田渊栋团队整合快慢思考,能走迷宫推箱子
...本更低。能解决迷宫、推箱子等复杂问题。通过让模型在推理轨迹和最终答案上进行训练,再基于特定策略丢掉部分轨迹,Dualformer模型可以在模仿慢思考的同时,像快思考一样走捷径。由此能形成更简洁的思维链(CoT)。从结...……更多
Meta提出“可持续思维链”,让大模型在连续潜空间中推理
...ta 提出“可持续思维链”:让大语言模型在连续潜空间中推理GameArena:通过实时电脑游戏评估 LLM 推理想要第一时间获取每日最新大模型热门论文? 点击阅读原文,查看「2024必读大模型论文」合集,以及申请加入「大模型技术...……更多
更多关于科技的资讯:
全国每三台冰箱、每四台洗衣机、每五台空调就有一台“安徽造”。近年来,安徽智能家电家居产业取得长足发展。从智能冰箱、空调到智能家居系统
2025-01-22 10:39:00
化妆品行业加速穿越周期向高质量发展
本报讯 (记者 王薛淄 文/摄)亿级品牌快速增加,超65%保持正增长;落后产能加速淘汰,结构不断优化;产品极大丰富,新原料备案注册再创新高……1月20日
2025-01-22 10:41:00
喜报!济南世茂广场荣获“2024年度消费风尚品牌”
齐鲁晚报·齐鲁壹点 张唯“风尚领航 美好生活+”2024(第13届)消费风尚盛典隆重揭晓。济南世茂广场凭借卓越表现,荣获“2024年度消费风尚品牌”
2025-01-22 10:45:00
深拓智能:智慧工厂引领未来
树立行业标杆,讲好中国故事,传递中国声音,充分展现腾飞的中国经济、崛起的民族品牌和向上的企业家精神。近日,“崛起的民族品牌”专题系列节目对话湖南深拓智能科技股份有限公司(简称
2025-01-22 10:45:00
聚焦低空安防,高新区低空感知监视网络建设研讨会圆满召开
近期,福州高新区低空感知监视网络建设研讨会在高新区无人机(系统)孵化器成功召开。作为低空安防领域的领先企业,福建灵信信息科技有限公司受邀参会并积极参与研讨
2025-01-22 10:45:00
壹玖壹玖的2024:场景数字化,于创新中谋发展
自2006年成立以来,壹玖壹玖就是中国酒类流通行业里那个爱“折腾”的代表。比如,壹玖壹玖一开始就以“专线电话”的创新方式切入酒水零售
2025-01-22 10:46:00
你家的投影仪,“吃灰”了吗?丨睡前聊一会儿
本文转自:人民日报中央厨房-思聊工作室戴林峰睡前聊一会儿,梦中有世界。听众朋友,你好。“墙有多大,屏幕就多大”,这是投影仪广告里营造的生活小确幸
2025-01-22 11:00:00
告别玩游戏繁琐切换窗口!微软Win11 Edge游戏助手正式上线
快科技1月22日消息,微软在2024年11月首次宣布推出Edge Game Assist功能,可以让玩家在电脑上玩游戏时更轻松地浏览网页
2025-01-22 11:01:00
已致76人死亡 土耳其一度假酒店发生火灾:选址成灭火最大阻力
快科技1月22日消息,据央视新闻报道,当地时间本月21日凌晨3时30分左右,土耳其博卢省滑雪度假区一栋12层高的酒店起火
2025-01-22 11:01:00
1月15日,国新办新闻发布会介绍2024年知识产权工作进展情况。截至2024年底,我国国内拥有有效发明专利的企业达到49
2025-01-22 11:14:00
日照市行政审批服务局创新推出AI客服“阳光小政”,不断优化企业群众办事体验,提升政务服务数字化智慧化水平。一是开展智能咨询
2025-01-22 11:19:00
阿维塔买来第一天出车祸 女车主:车辆没有预警也要负责任
快科技1月22日消息,据报道,杭州的冯女士向媒体反映称,自己刚买一天的阿维塔新车发生了事故,维修费要3万多元,她认为车辆和4S店都要负一定责任
2025-01-22 11:31:00
格纹变奏设计个性十足!华为nova 13 Pro图赏
新春佳节即将带来之际,华为nova 13 Pro来到我们评测室,下面为大家带来图赏。华为nova 13系列提供洛登绿、羽砂紫
2025-01-22 11:31:00
国补4499元!小米15定制版新春献礼开售:胭脂红年味拉满
快科技1月22日消息,今日,小米15定制版“新春献礼”配色开售,售价4999元(16GB+512GB),国家补贴优惠500元
2025-01-22 11:31:00
AMD说实话了!终于知道锐龙9 9950X3D和锐龙7 9800X3D怎么选了
快科技1月22日消息,今年CES 2025大展上,AMD高端X3D神U、基于二代3D缓存技术的顶级型号——锐龙9 9950X3D 16核心
2025-01-22 11:31:00