• 我的订阅
  • 头条热搜
3天把Llama训成Mamba,性能不降,推理更快!
...Mamba模型,并且设计了新的推测解码算法,加速了模型的推理。先来看一张其乐融融的图片(一眼AI):右边的小羊驼代表Llama,而左边的蛇(Mamba)也是我们的老熟人了。至于到底能不能其乐融融,咱就不管了,之所以有此场景...……更多
鄂维南院士领衔新作:大模型不止有RAG、参数存储,还有第3种记忆
...凡的性能而获得了前所未有的关注。然而, LLM 的训练和推理成本高昂,人们一直在尝试通过各种优化方法来降低成本。本文来自上海算法创新研究院、北京大学等机构的研究者受人类大脑记忆层次结构的启发,他们通过为 LLM ...……更多
00后华裔小哥哈佛辍学组团挑战英伟达,史上最快AI芯片Sohu推理性能超H100二十倍!
...元导读】史上最快Transformer芯片诞生了!用Sohu跑Llama 70B,推理性能已超B200十倍,超H100二十倍!刚刚,几位00后小哥从哈佛辍学后成立的公司Etached,宣布再融资1.2亿美元。有史以来最快的Transformer芯片,刚刚诞生了?去年21岁哈佛...……更多
Meta祭出三篇最详尽Llama微调指南!千字长文,0基础小白必备
...类型的信息:- 仅输入和输出文本,也就是少样本学习- 推理追踪:添加中间推理步骤,可参阅思维链(COT)提示- 计划和反思追踪:添加信息,教LLM计划和反思其解决问题的策略,可参阅ReACT 选择正确的适配方法要决定上述哪...……更多
真香!智谱大模型,有了首个免费的API
...同时,GLM-4 支持了更长的上下文、更强的多模态、更快的推理速度,以及更多并发请求,大大降低了推理成本。在此基础上发展出的 GLM-4-Flash,则带来了一系列技术优势:数据预训练:引入大语言模型进入数据筛选流程,使用 10...……更多
补齐Transformer规划短板又不放弃快速思考,Dualformer双重优势
...些解答或慢点思考。OpenAI ο1 模型的发布掀起了人们对 AI 推理过程的关注,甚至让现在的 AI 行业开始放弃卷越来越大的模型,而是开始针对推理过程进行优化了。今天我们介绍的这项来自 Meta FAIR 田渊栋团队的研究也是如此,其...……更多
PyTorch官宣:告别CUDA,GPU推理迎来Triton加速新时代
...PyTorch官宣,借助OpenAI开发的Triton语言编写内核来加速LLM推理,可以实现和CUDA类似甚至更佳的性能。试问,有多少机器学习小白曾被深度学习框架和CUDA的兼容问题所困扰?又有多少开发者曾因为频频闪烁的警报「CUDA版本必须与...……更多
大模型步入推理Scaling时代,SambaNova如何挑战英伟达的霸主地位
...震。o1 能像人类一样「思考」复杂问题,拥有优秀的通用推理能力。在未经专门训练的情况下,o1 能够直接拿下数学奥赛金牌,甚至能在博士级别的科学问答环节上超越人类专家。在性能跃升之外,更重要的是,它揭示了大模型...……更多
北大推出全新机器人多模态大模型!面向通用和机器人场景的高效推理和操作
...码仓库 Trending Research 第一位。为了赋予机器人端到端的推理和操纵能力,本文创新性地将视觉编码器与高效的状态空间语言模型集成,构建了全新的 RoboMamba 多模态大模型,使其具备视觉常识任务和机器人相关任务的推理能力,...……更多
苹果让大模型学会偷懒:更快吐出第一个token,准确度还保住了
...小的 8B 版本可能也依然会有明显延迟。为了提升模型的推理效率,研究者想出了多种多样的方法,但其中很多都会让模型牺牲一些准确度。近日,苹果和 Meta AI 的一个研究团队提出了一种新方法,可在保证准确度不明显下降的...……更多
国产大模型竞技场首超GPT-4o!零一万物GLM共同跻身Top10
...示了Yi-Lightning在不同场景上的能力。Yi-Lightning主打一个“推理速度更快,生成质量更好”。相比上半年Yi-Large,Yi-Lightning首包速度提升1倍,推理速度也提升了4成。像是翻译下面这种文学作品,Yi-Lightning不仅速度更快:而且用词...……更多
英伟达开源NVLM 1.0屠榜多模态!纯文本性能不降反升
...例如,OCRBench)的性能,但与低分辨率版本模型相比,在推理相关任务(例如,MMMU)上的准确率却会下降。此外,虽然开源的多模态大模型在视觉-语言任务上取得了非常亮眼的基准测试结果,但在纯文本任务上的性能却有显著...……更多
迎战GPT-4V!谷歌PaLI-3视觉语言模型问世,更小、更快、更强
... 和 ChartQA,它们不仅需要理解,还需要对图表进行强大的推理能力。对于这两个基准,PaLI-3 稍微落后于 PaLI-X。另外,研究人员还扩展了 PaLI-3 的功能,使其能够通过语言类似的输出来预测分割遮罩。实验结果表明,对于这种类...……更多
CPU,正在被AI时代抛弃?
...以通过语音识别技术被录入到病例系统中,随后大模型AI推理技术辅助进行智能总结和诊断,医生们撰写病例的效率显著提高。AI推理的应用不仅节省了时间,也保护了患者隐私;在法院、律所等业务场景中,律师通过大模型对...……更多
给小学数学题加句废话,OpenAI o1就翻车了,苹果论文质疑AI推理
苹果新论文:AI 大模型可能不会推理。AI 大模型(LLM)真的像我们理解的那样能「思考」或「推理」吗?最近,苹果的一篇论文探讨了这个问题,并且给出了一个倾向于「否」的答案。相关帖子被很多人围观。这篇题为「GSM-Symb...……更多
打乱/跳过Transformer层会怎样?最新研究揭开其信息流动机制
...被展示过了,但我喜欢你添加的新细节,特别是强调了“推理”类任务比其他任务受影响更大!还有不少学者、工程师也表示强烈推荐。敢打赌,其中一些见解最终将会用于改进Transformer。 其中的实验再次证实了:复制层对创...……更多
OpenAI发布免费新品GPT-4o:可对音频、视觉和文本实时推理,与人自然对话,功能秒杀Siri
...方面尤其出色。GPT-4o可以在音频、视觉和文本中进行实时推理,接受文本、音频和图像的任何组合作为输入,并生成文本、音频和图像的任何组合进行输出。它可以最短在232毫秒内响应音频输入,平均为320毫秒,这与人类在对话...……更多
OpenAI-o1思考替代法火了!焦剑涛高徒一作提出思考偏好优化
...,大模型能根据任务复杂度进行不同时间的思考。不限于推理性的逻辑或数学任务,一般问答也能思考的那种。最近畅销书《Python机器学习》作者Sebastian Raschka推荐了一项新研究,被网友们齐刷刷码住了。论文一作为华人学者Tian...……更多
AI大模型有望再扩1000倍!剑桥耶鲁康奈尔:PNN是变革关键
...围内吗?能在智能手机或传感器这些边缘设备上进行本地推理吗?要回答这些问题,我们需要重新思考AI模型的工作和训练方式,尤其是要转换视角,首先考虑底层硬件的物理约束。或许,物理神经网络PNN(physical neural network)...……更多
图灵奖得主Yoshua Bengio新作:Were RNNs All We Needed?
...常高效在测试时,循环序列模型会按顺序推出,从而使其推理更为高效。相反,传统 RNN 的瓶颈在于其训练,需要线性训练时间(通过时间反向传播),这导致其最终被淘汰。人们对循环序列模型重新产生兴趣,是因为许多新的...……更多
阿里云全面升级GPU云服务:AI大模型推理性能可提升100%
...云推出全面升级的GPU云服务,通过全新优化GPU套件,多GPU推理服务性能可最大提升100%。针对调用GPU算力最常用的容器技术,阿里云推出ACK云原生AI套件,帮助开发者及企业更高效地开发和部署AI应用,加速大模型应用落地。随着A...……更多
记者实测|速度更快成本更低,人机交互更自然,OpenAI新模型免费开放
...代表Omni,也就是“全能”的意思。据介绍,GPT-4o文本、推理、编码能力达到GPT-4 Turbo水平,速度是上一代AI大模型GPT-4 Turbo的两倍,但成本仅为GPT-4 Turbo的一半,视频、音频功能得到改善。OpenAI CEO奥尔特曼(Sam Altman)在博客中表...……更多
谷歌「诚意之作」,开源9B、27B版Gemma2,主打高效、经济!
... 2此次提供的90亿(9B)和270亿(27B)参数的两个版本,其推理性能和效率均优于第一代,并具有显著的安全性改进。事实上,270亿参数版本可以与体积超过其两倍的模型进行同等级别的竞争,并且提供了此前只有专有模型才能实...……更多
LLM仍然不能规划,刷屏的OpenAI o1远未达到饱和
...模型,一举创造了很多历史记录。o1 模型拥有真正的通用推理能力。在一系列高难基准测试中展现出了超强实力,相比 GPT-4o 有巨大提升,让大模型的上限从「没法看」直接上升到优秀水平,不专门训练直接数学奥赛金牌,甚至...……更多
OpenAI o1模型到博士水平了?复旦教授:没有真正推理能力,学到的还是概率相关性
...小尺寸版o1-mini。OpenAI官方发文称,新模型旨在解决复杂推理问题,训练模型在响应之前花更多时间思考,类似于人类的思考方式。“新模型在推理能力上代表了AI能力的新水平。”OpenAI称,该模型可以解决科学、编程和数学等更...……更多
Meta版慢思考来了!田渊栋团队整合快慢思考,能走迷宫推箱子
...本更低。能解决迷宫、推箱子等复杂问题。通过让模型在推理轨迹和最终答案上进行训练,再基于特定策略丢掉部分轨迹,Dualformer模型可以在模仿慢思考的同时,像快思考一样走捷径。由此能形成更简洁的思维链(CoT)。从结...……更多
刚刚,OpenAI震撼发布o1大模型!强化学习突破LLM推理极限
...专门解决难题。这是一个重大突破,新模型可以实现复杂推理,一个通用模型解决比此前的科学、代码和数学模型能做到的更难的问题。OpenAI 称,今天在 ChatGPT 和大模型 API 中新发布的是该系列中的第一款模型,而且还只是预览...……更多
开源版OpenAI再出「神作」,小模型吊打Llama 3!Ministral系列问世,边缘AI革命开启
...持高达128k上下文(目前在vLLM上为32k)。在知识、常识、推理、函数调用、效率等方面,为低于10B参数模型设立了新标杆。而且,Ministral 8B还有配备了滑动窗口注意机制(sliding-window attention),以实现更快和内存高效的推理。不...……更多
Meta首款多模态Llama 3.2开源!1B羊驼宝宝,跑在手机上了
...I正在壮大。 能力一览11B和90B这两款模型,不仅支持图像推理场景,包括图表和图形在内的文档级理解、图像描述以及视觉定位任务,而且还能基于现有图表进行推理并快速给出回答。比如,你可以问「去年哪个月销售业绩最好...……更多
刚刚,Llama 3.2 来了!支持图像推理,还有可在手机上运行的版本
... Meta 对 Llama 模型来了一波大更新:不仅推出了支持图像推理任务的新一代 Llama 11B 和 90B 模型,还发布了可在边缘和移动设备上的运行的轻量级模型 Llama 3.2 1B 和 3B。不仅如此,Meta 还正式发布了 Llama Stack Distribution,其可……更多
更多关于科技的资讯:
长春巨型“充电宝”并网投运
本文转自:人民日报海外版《人民日报海外版》(2024年12月27日第 02 版)在国网长春供电公司积极推进建设下,吉林长春五棵树220千伏变电站内的磷酸铁锂储能电站项目日前顺利并网投运
2024-12-27 04:38:00
企元数智免费小程序:企业内容营销的破局利刃
一、企元数智免费小程序——企业营销的新曙光在当今数字化浪潮的席卷下,企业营销领域正经历着深刻的变革与激烈的竞争。众多企业纷纷陷入营销困境
2024-12-27 05:44:00
企元数智免费小程序:开启企业智能客服升级新篇章
在数字化浪潮汹涌澎湃的当下,企业的服务质量和效率成为了竞争的关键利器。客户对于快速、准确、个性化服务的期望日益攀升,传统客服模式在应对这一挑战时显得力不从心
2024-12-27 05:50:00
解析企元数智免费小程序如何增强企业用户粘性
在当今数字化商业浪潮中,用户粘性已成为企业能否持续发展壮大的关键因素之一。而企元数智免费小程序的出现,为企业提升用户粘性提供了一条创新且高效的途径
2024-12-27 05:54:00
本文转自:人民日报江苏推进“智改数转网联”,累计实施改造项目约5.6万个给工厂装“大脑”  让产线上“云端”(高质量发展看亮点·走一线)本报记者  王伟健核心阅读上门诊断
2024-12-27 06:15:00
2.0版本“上新”!海量信息触手可及 “解锁”一张指尖上的就业地图
从手绘纸卷到数字影像,地图从来都不只是地理标识,而是探索未知、追逐梦想的指南。在今日的杭州,就有一张特殊的地图,它不绘于纸张
2024-12-27 07:02:00
2024年,杭州产业发展热潮涌动,新旧动能转换澎湃有力。人形机器人、智能网联车、《黑神话·悟空》、演唱会、新生代杭商……一个个充满活力的“细胞”
2024-12-27 07:02:00
马斯克的“省钱大师”登陆华盛顿:正为美国政府效率部招兵买马
综合多家媒体报道,埃隆·马斯克的长期副手史蒂夫·戴维斯(Steve Davis)正帮助美国拟设立的“政府效率部”招聘员工
2024-12-27 07:07:00
复旦教授呼吁年轻人减少欲望:过度追求易陷入不满与失落的循环
12月27日消息,近日,复旦教授梁永安在演讲中呼吁年轻人减少欲望,强调个人欲望减法对社会做加法的重要性,引发广泛关注。当下
2024-12-27 07:07:00
郭有才说走红像“做梦一样”:爆红是一种偶然
12月27日消息,据媒体报道,因翻唱《诺言》出圈,郭有才上半年走入了流量中心。半年多过去后,郭有才在接受采访时表示,他走红像“做梦一样”
2024-12-27 07:07:00
怎么找工作、领补贴?杭州就业创业一张图帮到你
制图 刘婧楠近日,杭州拿下重量级大奖——中国年度最佳促进就业城市。这是一个综合评定政府就业服务水平的奖项,从城市就业人口情况
2024-12-27 07:33:00
iPhone SE 4领衔!苹果2025上半年新品爆发:5款大作已在路上
快科技12月27日消息,据媒体报道,尽管iPhone通常在9月份亮相,但在2025年上半年,苹果将带来包括iPhone在内的5款重磅新品
2024-12-27 07:37:00
70岁董明珠谈从格力退休:股民、员工都不想我退休
快科技12月27日消息,日前,格力电器董事长董明珠与新浪财经CEO邓庆旭对话时再次谈及了“明年是否会退休”的话题。邓庆旭表示
2024-12-27 07:37:00
理想同学上架苹果App Store、小米应用商店:语音交互丝滑如真人 识物秒懂
快科技12月27日消息,理想同学App今日正式上架苹果App Store和小米应用商店,其他安卓应用商店预计将陆续上架
2024-12-27 07:37:00
中国什么时候可以100%用自动驾驶 李想:给我三年的时间!
快科技12月26日消息,今晚,在2024理想AI Talk对话节目中,当主持人问及“什么时候可以100%用自动驾驶”时
2024-12-26 21:07:00