• 我的订阅
  • 头条热搜
3天把Llama训成Mamba,性能不降,推理更快!
...Mamba模型,并且设计了新的推测解码算法,加速了模型的推理。先来看一张其乐融融的图片(一眼AI):右边的小羊驼代表Llama,而左边的蛇(Mamba)也是我们的老熟人了。至于到底能不能其乐融融,咱就不管了,之所以有此场景...……更多
鄂维南院士领衔新作:大模型不止有RAG、参数存储,还有第3种记忆
...凡的性能而获得了前所未有的关注。然而, LLM 的训练和推理成本高昂,人们一直在尝试通过各种优化方法来降低成本。本文来自上海算法创新研究院、北京大学等机构的研究者受人类大脑记忆层次结构的启发,他们通过为 LLM ...……更多
00后华裔小哥哈佛辍学组团挑战英伟达,史上最快AI芯片Sohu推理性能超H100二十倍!
...元导读】史上最快Transformer芯片诞生了!用Sohu跑Llama 70B,推理性能已超B200十倍,超H100二十倍!刚刚,几位00后小哥从哈佛辍学后成立的公司Etached,宣布再融资1.2亿美元。有史以来最快的Transformer芯片,刚刚诞生了?去年21岁哈佛...……更多
Meta祭出三篇最详尽Llama微调指南!千字长文,0基础小白必备
...类型的信息:- 仅输入和输出文本,也就是少样本学习- 推理追踪:添加中间推理步骤,可参阅思维链(COT)提示- 计划和反思追踪:添加信息,教LLM计划和反思其解决问题的策略,可参阅ReACT 选择正确的适配方法要决定上述哪...……更多
真香!智谱大模型,有了首个免费的API
...同时,GLM-4 支持了更长的上下文、更强的多模态、更快的推理速度,以及更多并发请求,大大降低了推理成本。在此基础上发展出的 GLM-4-Flash,则带来了一系列技术优势:数据预训练:引入大语言模型进入数据筛选流程,使用 10...……更多
补齐Transformer规划短板又不放弃快速思考,Dualformer双重优势
...些解答或慢点思考。OpenAI ο1 模型的发布掀起了人们对 AI 推理过程的关注,甚至让现在的 AI 行业开始放弃卷越来越大的模型,而是开始针对推理过程进行优化了。今天我们介绍的这项来自 Meta FAIR 田渊栋团队的研究也是如此,其...……更多
PyTorch官宣:告别CUDA,GPU推理迎来Triton加速新时代
...PyTorch官宣,借助OpenAI开发的Triton语言编写内核来加速LLM推理,可以实现和CUDA类似甚至更佳的性能。试问,有多少机器学习小白曾被深度学习框架和CUDA的兼容问题所困扰?又有多少开发者曾因为频频闪烁的警报「CUDA版本必须与...……更多
大模型步入推理Scaling时代,SambaNova如何挑战英伟达的霸主地位
...震。o1 能像人类一样「思考」复杂问题,拥有优秀的通用推理能力。在未经专门训练的情况下,o1 能够直接拿下数学奥赛金牌,甚至能在博士级别的科学问答环节上超越人类专家。在性能跃升之外,更重要的是,它揭示了大模型...……更多
北大推出全新机器人多模态大模型!面向通用和机器人场景的高效推理和操作
...码仓库 Trending Research 第一位。为了赋予机器人端到端的推理和操纵能力,本文创新性地将视觉编码器与高效的状态空间语言模型集成,构建了全新的 RoboMamba 多模态大模型,使其具备视觉常识任务和机器人相关任务的推理能力,...……更多
苹果让大模型学会偷懒:更快吐出第一个token,准确度还保住了
...小的 8B 版本可能也依然会有明显延迟。为了提升模型的推理效率,研究者想出了多种多样的方法,但其中很多都会让模型牺牲一些准确度。近日,苹果和 Meta AI 的一个研究团队提出了一种新方法,可在保证准确度不明显下降的...……更多
国产大模型竞技场首超GPT-4o!零一万物GLM共同跻身Top10
...示了Yi-Lightning在不同场景上的能力。Yi-Lightning主打一个“推理速度更快,生成质量更好”。相比上半年Yi-Large,Yi-Lightning首包速度提升1倍,推理速度也提升了4成。像是翻译下面这种文学作品,Yi-Lightning不仅速度更快:而且用词...……更多
迎战GPT-4V!谷歌PaLI-3视觉语言模型问世,更小、更快、更强
... 和 ChartQA,它们不仅需要理解,还需要对图表进行强大的推理能力。对于这两个基准,PaLI-3 稍微落后于 PaLI-X。另外,研究人员还扩展了 PaLI-3 的功能,使其能够通过语言类似的输出来预测分割遮罩。实验结果表明,对于这种类...……更多
英伟达开源NVLM 1.0屠榜多模态!纯文本性能不降反升
...例如,OCRBench)的性能,但与低分辨率版本模型相比,在推理相关任务(例如,MMMU)上的准确率却会下降。此外,虽然开源的多模态大模型在视觉-语言任务上取得了非常亮眼的基准测试结果,但在纯文本任务上的性能却有显著...……更多
CPU,正在被AI时代抛弃?
...以通过语音识别技术被录入到病例系统中,随后大模型AI推理技术辅助进行智能总结和诊断,医生们撰写病例的效率显著提高。AI推理的应用不仅节省了时间,也保护了患者隐私;在法院、律所等业务场景中,律师通过大模型对...……更多
给小学数学题加句废话,OpenAI o1就翻车了,苹果论文质疑AI推理
苹果新论文:AI 大模型可能不会推理。AI 大模型(LLM)真的像我们理解的那样能「思考」或「推理」吗?最近,苹果的一篇论文探讨了这个问题,并且给出了一个倾向于「否」的答案。相关帖子被很多人围观。这篇题为「GSM-Symb...……更多
打乱/跳过Transformer层会怎样?最新研究揭开其信息流动机制
...被展示过了,但我喜欢你添加的新细节,特别是强调了“推理”类任务比其他任务受影响更大!还有不少学者、工程师也表示强烈推荐。敢打赌,其中一些见解最终将会用于改进Transformer。 其中的实验再次证实了:复制层对创...……更多
AI大模型有望再扩1000倍!剑桥耶鲁康奈尔:PNN是变革关键
...围内吗?能在智能手机或传感器这些边缘设备上进行本地推理吗?要回答这些问题,我们需要重新思考AI模型的工作和训练方式,尤其是要转换视角,首先考虑底层硬件的物理约束。或许,物理神经网络PNN(physical neural network)...……更多
OpenAI发布免费新品GPT-4o:可对音频、视觉和文本实时推理,与人自然对话,功能秒杀Siri
...方面尤其出色。GPT-4o可以在音频、视觉和文本中进行实时推理,接受文本、音频和图像的任何组合作为输入,并生成文本、音频和图像的任何组合进行输出。它可以最短在232毫秒内响应音频输入,平均为320毫秒,这与人类在对话...……更多
OpenAI-o1思考替代法火了!焦剑涛高徒一作提出思考偏好优化
...,大模型能根据任务复杂度进行不同时间的思考。不限于推理性的逻辑或数学任务,一般问答也能思考的那种。最近畅销书《Python机器学习》作者Sebastian Raschka推荐了一项新研究,被网友们齐刷刷码住了。论文一作为华人学者Tian...……更多
图灵奖得主Yoshua Bengio新作:Were RNNs All We Needed?
...常高效在测试时,循环序列模型会按顺序推出,从而使其推理更为高效。相反,传统 RNN 的瓶颈在于其训练,需要线性训练时间(通过时间反向传播),这导致其最终被淘汰。人们对循环序列模型重新产生兴趣,是因为许多新的...……更多
记者实测|速度更快成本更低,人机交互更自然,OpenAI新模型免费开放
...代表Omni,也就是“全能”的意思。据介绍,GPT-4o文本、推理、编码能力达到GPT-4 Turbo水平,速度是上一代AI大模型GPT-4 Turbo的两倍,但成本仅为GPT-4 Turbo的一半,视频、音频功能得到改善。OpenAI CEO奥尔特曼(Sam Altman)在博客中表...……更多
阿里云全面升级GPU云服务:AI大模型推理性能可提升100%
...云推出全面升级的GPU云服务,通过全新优化GPU套件,多GPU推理服务性能可最大提升100%。针对调用GPU算力最常用的容器技术,阿里云推出ACK云原生AI套件,帮助开发者及企业更高效地开发和部署AI应用,加速大模型应用落地。随着A...……更多
谷歌「诚意之作」,开源9B、27B版Gemma2,主打高效、经济!
... 2此次提供的90亿(9B)和270亿(27B)参数的两个版本,其推理性能和效率均优于第一代,并具有显著的安全性改进。事实上,270亿参数版本可以与体积超过其两倍的模型进行同等级别的竞争,并且提供了此前只有专有模型才能实...……更多
LLM仍然不能规划,刷屏的OpenAI o1远未达到饱和
...模型,一举创造了很多历史记录。o1 模型拥有真正的通用推理能力。在一系列高难基准测试中展现出了超强实力,相比 GPT-4o 有巨大提升,让大模型的上限从「没法看」直接上升到优秀水平,不专门训练直接数学奥赛金牌,甚至...……更多
OpenAI o1模型到博士水平了?复旦教授:没有真正推理能力,学到的还是概率相关性
...小尺寸版o1-mini。OpenAI官方发文称,新模型旨在解决复杂推理问题,训练模型在响应之前花更多时间思考,类似于人类的思考方式。“新模型在推理能力上代表了AI能力的新水平。”OpenAI称,该模型可以解决科学、编程和数学等更...……更多
Meta版慢思考来了!田渊栋团队整合快慢思考,能走迷宫推箱子
...本更低。能解决迷宫、推箱子等复杂问题。通过让模型在推理轨迹和最终答案上进行训练,再基于特定策略丢掉部分轨迹,Dualformer模型可以在模仿慢思考的同时,像快思考一样走捷径。由此能形成更简洁的思维链(CoT)。从结...……更多
刚刚,OpenAI震撼发布o1大模型!强化学习突破LLM推理极限
...专门解决难题。这是一个重大突破,新模型可以实现复杂推理,一个通用模型解决比此前的科学、代码和数学模型能做到的更难的问题。OpenAI 称,今天在 ChatGPT 和大模型 API 中新发布的是该系列中的第一款模型,而且还只是预览...……更多
开源版OpenAI再出「神作」,小模型吊打Llama 3!Ministral系列问世,边缘AI革命开启
...持高达128k上下文(目前在vLLM上为32k)。在知识、常识、推理、函数调用、效率等方面,为低于10B参数模型设立了新标杆。而且,Ministral 8B还有配备了滑动窗口注意机制(sliding-window attention),以实现更快和内存高效的推理。不...……更多
Meta首款多模态Llama 3.2开源!1B羊驼宝宝,跑在手机上了
...I正在壮大。 能力一览11B和90B这两款模型,不仅支持图像推理场景,包括图表和图形在内的文档级理解、图像描述以及视觉定位任务,而且还能基于现有图表进行推理并快速给出回答。比如,你可以问「去年哪个月销售业绩最好...……更多
AMD MI300绝杀英伟达H100?跑GPT-4性能超25%,AI芯片大决战一触即发
...,因此它们一直被诟病生成的回答是基于概率,而非基于推理。这也就意味着,在当前的AI热潮中,这些模型架构可能无法幸存下来。毕竟,由于发展速度太快,如今的LLM寿命相对较短。昨天还炙手可热的模型,一两周后可能就...……更多
更多关于科技的资讯:
除尘技术融合赛络纺工艺 临清德汇纺织锻造绿色工厂新标杆
大众网记者 彭静 聊城报道7月29日,聊城市政府新闻办举行“产业链上的山东好品牌”企业家系列现场记者见面会(一)聊城轻工纺织产业链专场
2025-07-31 15:59:00
大众网记者 李双宏 日照报道“科技是第一生产力、创新是第一动力”。当金融与科技的融合迈入深水区,中信银行青岛分行锚定“打造领先的数字化银行”目标
2025-07-31 15:51:00
看不见的纱线 看得见的革新:临清智卓纺织云平台整合生产链 瞄准华北智造标杆
大众网记者 彭静 聊城报道7月29日,聊城市政府新闻办举行“产业链上的山东好品牌”企业家系列现场记者见面会(一)聊城轻工纺织产业链专场
2025-07-31 15:47:00
科技“硬实力”塑造企业成长!Baseus倍思入选深圳“潜在独角兽企业”
近日,2025中国(深圳)独角兽企业大会在深圳召开,会上正式发布了《GEI中国独角兽企业研究报告2025》及《深圳市独角兽企业及瞪羚企业研究报告2025》
2025-07-31 12:50:00
廊坊银行手机银行7.0版本重磅升级 多维度优化提升服务体验
河北新闻网讯(孙泽恒)近日,廊坊银行完成手机银行7.0版本升级。该版本基于“七星电子银行指标模型”打造,延续廊坊银行“以客户为中心”的服务理念
2025-07-31 09:24:00
圆桌对话:从“中国制造”到“全球品牌”:消费电子出海的突围之道 | 2025出海大会
7月25日,由浙江省商务厅、金砖国家特殊经济区中国合作中心秘书处、杭州市商务局、钱塘区商务局指导,36氪、钱塘建设集团联合主办的2025「以“匠心”至“世界”」出海大会将于杭州钱塘君澜大饭店盛大启幕
2025-07-31 07:12:00
发挥杭州数字化技术优势结出有竞争力的“新果”杭州日报讯 近日,第四届全球数字贸易博览会数字国潮展筹备座谈会上,20余家老字号品牌
2025-07-31 06:28:00
数币App上新:支付更丝滑 交易攀新高上半年南京每月平均活跃钱包超百万个,消费金额增幅超140%□南京日报/紫金山新闻记者曹丽珍“快看
2025-07-31 07:30:00
AI赋能,更懂你心!紫金山新闻9.0焕新上线□南京日报/紫金山新闻记者 李花张亚金朱嘉琪姚沁玥7月31日,紫金山新闻9
2025-07-31 07:30:00
上半年,全市规模以上工业增加值同比增长6.2%产业强市促升级 攻坚突破向未来□南京日报/紫金山新闻记者徐宁7月22日,脑机接口产业培育大会在南京召开
2025-07-31 07:31:00
近日,在胜利油田中心医院甲状腺乳腺外科专家团队的全程技术支持下,河口区妇幼保健院开展甲状腺细针穿刺活检项目,并同步提供细胞学病理诊断与国际前沿的BRAF基因突变检测服务
2025-07-31 07:34:00
近日,杭州企业海康威视海关智能平台“智能审单”功能上线。这就像一个“AI 海关助手”,能帮你更快收到来自海外的包裹。海关审单
2025-07-31 08:00:00
杭州日报讯 近日,第二届浙江省“土特产直播带货”技能比武在杭州举行。本次活动以“山海共富·云上争霸”为主题,来自全省11个地市的31组参赛选手展开了精彩比拼
2025-07-31 06:28:00
哪吒汽车及子公司共欠税44万被公告,哪吒汽车曾被曝虚增销量
企查查APP显示,近日,哪吒汽车关联公司合众新能源汽车股份有限公司、其全资子公司桐乡合众汽车销售有限公司,两公司新增欠税公告
2025-07-30 15:33:00
只要三位数的AI手机,诺基亚联名巴塞罗那推出新机
7月29日,诺基亚手机在微信公众号上宣布,HMD 3210 AI 巴萨版正式上市,到手价仅为429元。 HMD 3210 AI巴萨版是功能机
2025-07-30 15:33:00