• 我的订阅
  • 头条热搜
3天把Llama训成Mamba,性能不降,推理更快!
...Mamba模型,并且设计了新的推测解码算法,加速了模型的推理。先来看一张其乐融融的图片(一眼AI):右边的小羊驼代表Llama,而左边的蛇(Mamba)也是我们的老熟人了。至于到底能不能其乐融融,咱就不管了,之所以有此场景...……更多
鄂维南院士领衔新作:大模型不止有RAG、参数存储,还有第3种记忆
...凡的性能而获得了前所未有的关注。然而, LLM 的训练和推理成本高昂,人们一直在尝试通过各种优化方法来降低成本。本文来自上海算法创新研究院、北京大学等机构的研究者受人类大脑记忆层次结构的启发,他们通过为 LLM ...……更多
00后华裔小哥哈佛辍学组团挑战英伟达,史上最快AI芯片Sohu推理性能超H100二十倍!
...元导读】史上最快Transformer芯片诞生了!用Sohu跑Llama 70B,推理性能已超B200十倍,超H100二十倍!刚刚,几位00后小哥从哈佛辍学后成立的公司Etached,宣布再融资1.2亿美元。有史以来最快的Transformer芯片,刚刚诞生了?去年21岁哈佛...……更多
Meta祭出三篇最详尽Llama微调指南!千字长文,0基础小白必备
...类型的信息:- 仅输入和输出文本,也就是少样本学习- 推理追踪:添加中间推理步骤,可参阅思维链(COT)提示- 计划和反思追踪:添加信息,教LLM计划和反思其解决问题的策略,可参阅ReACT 选择正确的适配方法要决定上述哪...……更多
真香!智谱大模型,有了首个免费的API
...同时,GLM-4 支持了更长的上下文、更强的多模态、更快的推理速度,以及更多并发请求,大大降低了推理成本。在此基础上发展出的 GLM-4-Flash,则带来了一系列技术优势:数据预训练:引入大语言模型进入数据筛选流程,使用 10...……更多
补齐Transformer规划短板又不放弃快速思考,Dualformer双重优势
...些解答或慢点思考。OpenAI ο1 模型的发布掀起了人们对 AI 推理过程的关注,甚至让现在的 AI 行业开始放弃卷越来越大的模型,而是开始针对推理过程进行优化了。今天我们介绍的这项来自 Meta FAIR 田渊栋团队的研究也是如此,其...……更多
PyTorch官宣:告别CUDA,GPU推理迎来Triton加速新时代
...PyTorch官宣,借助OpenAI开发的Triton语言编写内核来加速LLM推理,可以实现和CUDA类似甚至更佳的性能。试问,有多少机器学习小白曾被深度学习框架和CUDA的兼容问题所困扰?又有多少开发者曾因为频频闪烁的警报「CUDA版本必须与...……更多
大模型步入推理Scaling时代,SambaNova如何挑战英伟达的霸主地位
...震。o1 能像人类一样「思考」复杂问题,拥有优秀的通用推理能力。在未经专门训练的情况下,o1 能够直接拿下数学奥赛金牌,甚至能在博士级别的科学问答环节上超越人类专家。在性能跃升之外,更重要的是,它揭示了大模型...……更多
北大推出全新机器人多模态大模型!面向通用和机器人场景的高效推理和操作
...码仓库 Trending Research 第一位。为了赋予机器人端到端的推理和操纵能力,本文创新性地将视觉编码器与高效的状态空间语言模型集成,构建了全新的 RoboMamba 多模态大模型,使其具备视觉常识任务和机器人相关任务的推理能力,...……更多
苹果让大模型学会偷懒:更快吐出第一个token,准确度还保住了
...小的 8B 版本可能也依然会有明显延迟。为了提升模型的推理效率,研究者想出了多种多样的方法,但其中很多都会让模型牺牲一些准确度。近日,苹果和 Meta AI 的一个研究团队提出了一种新方法,可在保证准确度不明显下降的...……更多
国产大模型竞技场首超GPT-4o!零一万物GLM共同跻身Top10
...示了Yi-Lightning在不同场景上的能力。Yi-Lightning主打一个“推理速度更快,生成质量更好”。相比上半年Yi-Large,Yi-Lightning首包速度提升1倍,推理速度也提升了4成。像是翻译下面这种文学作品,Yi-Lightning不仅速度更快:而且用词...……更多
英伟达开源NVLM 1.0屠榜多模态!纯文本性能不降反升
...例如,OCRBench)的性能,但与低分辨率版本模型相比,在推理相关任务(例如,MMMU)上的准确率却会下降。此外,虽然开源的多模态大模型在视觉-语言任务上取得了非常亮眼的基准测试结果,但在纯文本任务上的性能却有显著...……更多
迎战GPT-4V!谷歌PaLI-3视觉语言模型问世,更小、更快、更强
... 和 ChartQA,它们不仅需要理解,还需要对图表进行强大的推理能力。对于这两个基准,PaLI-3 稍微落后于 PaLI-X。另外,研究人员还扩展了 PaLI-3 的功能,使其能够通过语言类似的输出来预测分割遮罩。实验结果表明,对于这种类...……更多
CPU,正在被AI时代抛弃?
...以通过语音识别技术被录入到病例系统中,随后大模型AI推理技术辅助进行智能总结和诊断,医生们撰写病例的效率显著提高。AI推理的应用不仅节省了时间,也保护了患者隐私;在法院、律所等业务场景中,律师通过大模型对...……更多
给小学数学题加句废话,OpenAI o1就翻车了,苹果论文质疑AI推理
苹果新论文:AI 大模型可能不会推理。AI 大模型(LLM)真的像我们理解的那样能「思考」或「推理」吗?最近,苹果的一篇论文探讨了这个问题,并且给出了一个倾向于「否」的答案。相关帖子被很多人围观。这篇题为「GSM-Symb...……更多
打乱/跳过Transformer层会怎样?最新研究揭开其信息流动机制
...被展示过了,但我喜欢你添加的新细节,特别是强调了“推理”类任务比其他任务受影响更大!还有不少学者、工程师也表示强烈推荐。敢打赌,其中一些见解最终将会用于改进Transformer。 其中的实验再次证实了:复制层对创...……更多
OpenAI发布免费新品GPT-4o:可对音频、视觉和文本实时推理,与人自然对话,功能秒杀Siri
...方面尤其出色。GPT-4o可以在音频、视觉和文本中进行实时推理,接受文本、音频和图像的任何组合作为输入,并生成文本、音频和图像的任何组合进行输出。它可以最短在232毫秒内响应音频输入,平均为320毫秒,这与人类在对话...……更多
OpenAI-o1思考替代法火了!焦剑涛高徒一作提出思考偏好优化
...,大模型能根据任务复杂度进行不同时间的思考。不限于推理性的逻辑或数学任务,一般问答也能思考的那种。最近畅销书《Python机器学习》作者Sebastian Raschka推荐了一项新研究,被网友们齐刷刷码住了。论文一作为华人学者Tian...……更多
AI大模型有望再扩1000倍!剑桥耶鲁康奈尔:PNN是变革关键
...围内吗?能在智能手机或传感器这些边缘设备上进行本地推理吗?要回答这些问题,我们需要重新思考AI模型的工作和训练方式,尤其是要转换视角,首先考虑底层硬件的物理约束。或许,物理神经网络PNN(physical neural network)...……更多
图灵奖得主Yoshua Bengio新作:Were RNNs All We Needed?
...常高效在测试时,循环序列模型会按顺序推出,从而使其推理更为高效。相反,传统 RNN 的瓶颈在于其训练,需要线性训练时间(通过时间反向传播),这导致其最终被淘汰。人们对循环序列模型重新产生兴趣,是因为许多新的...……更多
阿里云全面升级GPU云服务:AI大模型推理性能可提升100%
...云推出全面升级的GPU云服务,通过全新优化GPU套件,多GPU推理服务性能可最大提升100%。针对调用GPU算力最常用的容器技术,阿里云推出ACK云原生AI套件,帮助开发者及企业更高效地开发和部署AI应用,加速大模型应用落地。随着A...……更多
记者实测|速度更快成本更低,人机交互更自然,OpenAI新模型免费开放
...代表Omni,也就是“全能”的意思。据介绍,GPT-4o文本、推理、编码能力达到GPT-4 Turbo水平,速度是上一代AI大模型GPT-4 Turbo的两倍,但成本仅为GPT-4 Turbo的一半,视频、音频功能得到改善。OpenAI CEO奥尔特曼(Sam Altman)在博客中表...……更多
谷歌「诚意之作」,开源9B、27B版Gemma2,主打高效、经济!
... 2此次提供的90亿(9B)和270亿(27B)参数的两个版本,其推理性能和效率均优于第一代,并具有显著的安全性改进。事实上,270亿参数版本可以与体积超过其两倍的模型进行同等级别的竞争,并且提供了此前只有专有模型才能实...……更多
LLM仍然不能规划,刷屏的OpenAI o1远未达到饱和
...模型,一举创造了很多历史记录。o1 模型拥有真正的通用推理能力。在一系列高难基准测试中展现出了超强实力,相比 GPT-4o 有巨大提升,让大模型的上限从「没法看」直接上升到优秀水平,不专门训练直接数学奥赛金牌,甚至...……更多
OpenAI o1模型到博士水平了?复旦教授:没有真正推理能力,学到的还是概率相关性
...小尺寸版o1-mini。OpenAI官方发文称,新模型旨在解决复杂推理问题,训练模型在响应之前花更多时间思考,类似于人类的思考方式。“新模型在推理能力上代表了AI能力的新水平。”OpenAI称,该模型可以解决科学、编程和数学等更...……更多
Meta版慢思考来了!田渊栋团队整合快慢思考,能走迷宫推箱子
...本更低。能解决迷宫、推箱子等复杂问题。通过让模型在推理轨迹和最终答案上进行训练,再基于特定策略丢掉部分轨迹,Dualformer模型可以在模仿慢思考的同时,像快思考一样走捷径。由此能形成更简洁的思维链(CoT)。从结...……更多
刚刚,OpenAI震撼发布o1大模型!强化学习突破LLM推理极限
...专门解决难题。这是一个重大突破,新模型可以实现复杂推理,一个通用模型解决比此前的科学、代码和数学模型能做到的更难的问题。OpenAI 称,今天在 ChatGPT 和大模型 API 中新发布的是该系列中的第一款模型,而且还只是预览...……更多
开源版OpenAI再出「神作」,小模型吊打Llama 3!Ministral系列问世,边缘AI革命开启
...持高达128k上下文(目前在vLLM上为32k)。在知识、常识、推理、函数调用、效率等方面,为低于10B参数模型设立了新标杆。而且,Ministral 8B还有配备了滑动窗口注意机制(sliding-window attention),以实现更快和内存高效的推理。不...……更多
Meta首款多模态Llama 3.2开源!1B羊驼宝宝,跑在手机上了
...I正在壮大。 能力一览11B和90B这两款模型,不仅支持图像推理场景,包括图表和图形在内的文档级理解、图像描述以及视觉定位任务,而且还能基于现有图表进行推理并快速给出回答。比如,你可以问「去年哪个月销售业绩最好...……更多
刚刚,Llama 3.2 来了!支持图像推理,还有可在手机上运行的版本
... Meta 对 Llama 模型来了一波大更新:不仅推出了支持图像推理任务的新一代 Llama 11B 和 90B 模型,还发布了可在边缘和移动设备上的运行的轻量级模型 Llama 3.2 1B 和 3B。不仅如此,Meta 还正式发布了 Llama Stack Distribution,其可……更多
更多关于科技的资讯:
智网车路云 创新领未来——2024鄂尔多斯智能网联产业生态大会开幕
本文转自:人民网-内蒙古频道活动现场。实习生 王柯然摄人民网鄂尔多斯12月23日电 (张雪冬、实习生王柯然)12月23日
2024-12-23 22:04:00
乘联会秘书长:不看好日产和本田合并 忘记降油耗的三缸机了吗
快科技12月23日消息,乘联分会秘书长崔东树通过其个人微信公众号发文称,个人不看好日产和本田的合并。在他看来,本田和日产均需要加大中国本土化研发投入和实现依托中国产业链优势的产品创新
2024-12-23 22:04:00
《王者荣耀》梦幻联动:QQ飞车女主小橘子开到王者峡谷
快科技12月23日消息,《王者荣耀》宣布联动《QQ飞车》,女主小橘子来到王者峡谷。设计团队采用运动机能与现代时尚风格进行设计
2024-12-23 22:04:00
快递包裹飞起来!山东移动临沂分公司5G-A赋能现代物流城发展
齐鲁晚报·齐鲁壹点 主余凤近日,在临沂市新明辉智慧仓储物流园,一个快递包裹正等待着它的特殊旅程。与往常不同,这个包裹不是通过传统的货车运输
2024-12-23 22:25:00
美团“团买买”突然停止运营!可退款
快科技12月23日消息,美团旗下微信社群团购业务“团买买”发布公告称,由于平台业务调整,团买买将于2024年12月31日24时起停止运营
2024-12-23 22:34:00
新一代核心系统全面上线!中华财险与阿里云达成数智化升级新合作
中国网讯(记者 胡俊)12月23日,中华财险新一代分布式核心系统全面上线,其建设规模和复杂度在业内均为罕见,成效也殊为显著
2024-12-23 22:55:00
蚂蚁集团大动作!成立新的支付宝事业群 实施轮值总裁制度
快科技12月23日消息,蚂蚁集团发布全员信,进行新一轮组织架构调整。在新的组织架构调整中,蚂蚁集团将新成立数字支付事业群和支付宝事业群两大事业群
2024-12-23 23:04:00
EA否决《死亡空间4》
格兰·斯科菲尔德开创了《死亡空间》系列,在离开EA Visceral后又与他人创立了Sledgehammer工作室,动视收购了该工作室并将其升格为年货供应商
2024-12-23 23:04:00
【评论员观察】抓首发经济抢市场机遇
“察势者明,趋势者智。”中央经济工作会议后,“首发经济”成为热门话题。简单而言,首发经济是企业一系列开创性经济活动的集合
2024-12-23 23:25:00
男子9年前买199元“恋爱险”结婚后兑付:到账1万元
快科技12月23日消息,据报道,近期有多位网友发帖称,自己多年前购买的“恋爱保险”,最近在保险公司的要求下赔付1999元
2024-12-23 23:34:00
2025开年首款新机!REDMI Turbo 4开启预约:首发天玑8400-Ultra
快科技12月23日消息,REDMI Turbo 4目前已经正式开启预约,该机将于2025年1月发布,是2025开年首款新机
2024-12-23 18:33:00
韩国学术界呼吁效仿台积电成立KSMC:维持半导体领导地位
快科技12月23日消息,据媒体报道,韩国国家工程院(NAEK)近日在首尔举行的研讨会上,讨论了效仿台积电成立韩国半导体制造公司(KSMC)的计划
2024-12-23 18:33:00
央视曝光智能门锁突然自燃失火原因!看完速转发给家人
快科技12月23日消息,据央视报道,日前,贵州贵阳一小区位于13层的住宅发生火情,消防员到场后发现,房屋门锁紧闭,无人员在内
2024-12-23 18:33:00
小米SU7最新版本OTA推送:正式接入VLM视觉语言大模型
快科技12月23日消息,小米汽车官方宣布,小米SU7汽车已接收到Xiaomi HyperOS 1.4.5版本的OTA更新
2024-12-23 18:33:00
近日,中新经纬小编跟随搬家师傅体验了“搬家小哥”的一天。曹师傅表示:“老手平均一个月挣一万四五没问题,单王也能到两万。也有挣几千的
2024-12-23 18:47:00