• 我的订阅
  • 头条热搜
3天把Llama训成Mamba,性能不降,推理更快!
...Mamba模型,并且设计了新的推测解码算法,加速了模型的推理。先来看一张其乐融融的图片(一眼AI):右边的小羊驼代表Llama,而左边的蛇(Mamba)也是我们的老熟人了。至于到底能不能其乐融融,咱就不管了,之所以有此场景...……更多
鄂维南院士领衔新作:大模型不止有RAG、参数存储,还有第3种记忆
...凡的性能而获得了前所未有的关注。然而, LLM 的训练和推理成本高昂,人们一直在尝试通过各种优化方法来降低成本。本文来自上海算法创新研究院、北京大学等机构的研究者受人类大脑记忆层次结构的启发,他们通过为 LLM ...……更多
00后华裔小哥哈佛辍学组团挑战英伟达,史上最快AI芯片Sohu推理性能超H100二十倍!
...元导读】史上最快Transformer芯片诞生了!用Sohu跑Llama 70B,推理性能已超B200十倍,超H100二十倍!刚刚,几位00后小哥从哈佛辍学后成立的公司Etached,宣布再融资1.2亿美元。有史以来最快的Transformer芯片,刚刚诞生了?去年21岁哈佛...……更多
Meta祭出三篇最详尽Llama微调指南!千字长文,0基础小白必备
...类型的信息:- 仅输入和输出文本,也就是少样本学习- 推理追踪:添加中间推理步骤,可参阅思维链(COT)提示- 计划和反思追踪:添加信息,教LLM计划和反思其解决问题的策略,可参阅ReACT 选择正确的适配方法要决定上述哪...……更多
真香!智谱大模型,有了首个免费的API
...同时,GLM-4 支持了更长的上下文、更强的多模态、更快的推理速度,以及更多并发请求,大大降低了推理成本。在此基础上发展出的 GLM-4-Flash,则带来了一系列技术优势:数据预训练:引入大语言模型进入数据筛选流程,使用 10...……更多
补齐Transformer规划短板又不放弃快速思考,Dualformer双重优势
...些解答或慢点思考。OpenAI ο1 模型的发布掀起了人们对 AI 推理过程的关注,甚至让现在的 AI 行业开始放弃卷越来越大的模型,而是开始针对推理过程进行优化了。今天我们介绍的这项来自 Meta FAIR 田渊栋团队的研究也是如此,其...……更多
PyTorch官宣:告别CUDA,GPU推理迎来Triton加速新时代
...PyTorch官宣,借助OpenAI开发的Triton语言编写内核来加速LLM推理,可以实现和CUDA类似甚至更佳的性能。试问,有多少机器学习小白曾被深度学习框架和CUDA的兼容问题所困扰?又有多少开发者曾因为频频闪烁的警报「CUDA版本必须与...……更多
大模型步入推理Scaling时代,SambaNova如何挑战英伟达的霸主地位
...震。o1 能像人类一样「思考」复杂问题,拥有优秀的通用推理能力。在未经专门训练的情况下,o1 能够直接拿下数学奥赛金牌,甚至能在博士级别的科学问答环节上超越人类专家。在性能跃升之外,更重要的是,它揭示了大模型...……更多
北大推出全新机器人多模态大模型!面向通用和机器人场景的高效推理和操作
...码仓库 Trending Research 第一位。为了赋予机器人端到端的推理和操纵能力,本文创新性地将视觉编码器与高效的状态空间语言模型集成,构建了全新的 RoboMamba 多模态大模型,使其具备视觉常识任务和机器人相关任务的推理能力,...……更多
苹果让大模型学会偷懒:更快吐出第一个token,准确度还保住了
...小的 8B 版本可能也依然会有明显延迟。为了提升模型的推理效率,研究者想出了多种多样的方法,但其中很多都会让模型牺牲一些准确度。近日,苹果和 Meta AI 的一个研究团队提出了一种新方法,可在保证准确度不明显下降的...……更多
国产大模型竞技场首超GPT-4o!零一万物GLM共同跻身Top10
...示了Yi-Lightning在不同场景上的能力。Yi-Lightning主打一个“推理速度更快,生成质量更好”。相比上半年Yi-Large,Yi-Lightning首包速度提升1倍,推理速度也提升了4成。像是翻译下面这种文学作品,Yi-Lightning不仅速度更快:而且用词...……更多
英伟达开源NVLM 1.0屠榜多模态!纯文本性能不降反升
...例如,OCRBench)的性能,但与低分辨率版本模型相比,在推理相关任务(例如,MMMU)上的准确率却会下降。此外,虽然开源的多模态大模型在视觉-语言任务上取得了非常亮眼的基准测试结果,但在纯文本任务上的性能却有显著...……更多
迎战GPT-4V!谷歌PaLI-3视觉语言模型问世,更小、更快、更强
... 和 ChartQA,它们不仅需要理解,还需要对图表进行强大的推理能力。对于这两个基准,PaLI-3 稍微落后于 PaLI-X。另外,研究人员还扩展了 PaLI-3 的功能,使其能够通过语言类似的输出来预测分割遮罩。实验结果表明,对于这种类...……更多
Meta连甩AI加速大招 首推AI推理芯片 AI超算专供大模型训练
...Meta当下正将这些基础设施进一步升级进化。01.Meta首代AI推理加速器7nm制程、102.4TOPS算力MTIA(Meta Training and Inference Accelerator),是Meta第一个针对推理工作负载的内部定制加速器芯片系列。AI工作负载在Meta的业务中中无……更多
CPU,正在被AI时代抛弃?
...以通过语音识别技术被录入到病例系统中,随后大模型AI推理技术辅助进行智能总结和诊断,医生们撰写病例的效率显著提高。AI推理的应用不仅节省了时间,也保护了患者隐私;在法院、律所等业务场景中,律师通过大模型对...……更多
给小学数学题加句废话,OpenAI o1就翻车了,苹果论文质疑AI推理
苹果新论文:AI 大模型可能不会推理。AI 大模型(LLM)真的像我们理解的那样能「思考」或「推理」吗?最近,苹果的一篇论文探讨了这个问题,并且给出了一个倾向于「否」的答案。相关帖子被很多人围观。这篇题为「GSM-Symb...……更多
打乱/跳过Transformer层会怎样?最新研究揭开其信息流动机制
...被展示过了,但我喜欢你添加的新细节,特别是强调了“推理”类任务比其他任务受影响更大!还有不少学者、工程师也表示强烈推荐。敢打赌,其中一些见解最终将会用于改进Transformer。 其中的实验再次证实了:复制层对创...……更多
OpenAI发布免费新品GPT-4o:可对音频、视觉和文本实时推理,与人自然对话,功能秒杀Siri
...方面尤其出色。GPT-4o可以在音频、视觉和文本中进行实时推理,接受文本、音频和图像的任何组合作为输入,并生成文本、音频和图像的任何组合进行输出。它可以最短在232毫秒内响应音频输入,平均为320毫秒,这与人类在对话...……更多
OpenAI-o1思考替代法火了!焦剑涛高徒一作提出思考偏好优化
...,大模型能根据任务复杂度进行不同时间的思考。不限于推理性的逻辑或数学任务,一般问答也能思考的那种。最近畅销书《Python机器学习》作者Sebastian Raschka推荐了一项新研究,被网友们齐刷刷码住了。论文一作为华人学者Tian...……更多
AI大模型有望再扩1000倍!剑桥耶鲁康奈尔:PNN是变革关键
...围内吗?能在智能手机或传感器这些边缘设备上进行本地推理吗?要回答这些问题,我们需要重新思考AI模型的工作和训练方式,尤其是要转换视角,首先考虑底层硬件的物理约束。或许,物理神经网络PNN(physical neural network)...……更多
图灵奖得主Yoshua Bengio新作:Were RNNs All We Needed?
...常高效在测试时,循环序列模型会按顺序推出,从而使其推理更为高效。相反,传统 RNN 的瓶颈在于其训练,需要线性训练时间(通过时间反向传播),这导致其最终被淘汰。人们对循环序列模型重新产生兴趣,是因为许多新的...……更多
阿里云全面升级GPU云服务:AI大模型推理性能可提升100%
...云推出全面升级的GPU云服务,通过全新优化GPU套件,多GPU推理服务性能可最大提升100%。针对调用GPU算力最常用的容器技术,阿里云推出ACK云原生AI套件,帮助开发者及企业更高效地开发和部署AI应用,加速大模型应用落地。随着A...……更多
记者实测|速度更快成本更低,人机交互更自然,OpenAI新模型免费开放
...代表Omni,也就是“全能”的意思。据介绍,GPT-4o文本、推理、编码能力达到GPT-4 Turbo水平,速度是上一代AI大模型GPT-4 Turbo的两倍,但成本仅为GPT-4 Turbo的一半,视频、音频功能得到改善。OpenAI CEO奥尔特曼(Sam Altman)在博客中表...……更多
LLM仍然不能规划,刷屏的OpenAI o1远未达到饱和
...模型,一举创造了很多历史记录。o1 模型拥有真正的通用推理能力。在一系列高难基准测试中展现出了超强实力,相比 GPT-4o 有巨大提升,让大模型的上限从「没法看」直接上升到优秀水平,不专门训练直接数学奥赛金牌,甚至...……更多
谷歌「诚意之作」,开源9B、27B版Gemma2,主打高效、经济!
... 2此次提供的90亿(9B)和270亿(27B)参数的两个版本,其推理性能和效率均优于第一代,并具有显著的安全性改进。事实上,270亿参数版本可以与体积超过其两倍的模型进行同等级别的竞争,并且提供了此前只有专有模型才能实...……更多
OpenAI o1模型到博士水平了?复旦教授:没有真正推理能力,学到的还是概率相关性
...小尺寸版o1-mini。OpenAI官方发文称,新模型旨在解决复杂推理问题,训练模型在响应之前花更多时间思考,类似于人类的思考方式。“新模型在推理能力上代表了AI能力的新水平。”OpenAI称,该模型可以解决科学、编程和数学等更...……更多
GPT-4不仅性能更强也更贵了:单次输出7.5万单词需6美元,是此前的30倍
...的局限性,仍然不完全可靠,存在事实性“幻觉”并出现推理错误,可能自信地在其预测中犯错。同时,它的使用价格也更贵,其API价格是Chat-GPT API 使用价格的15-30倍。GPT-4实现多项突破,晋升“考霸”相较GPT-3.5,GPT-4在多个方...……更多
Meta版慢思考来了!田渊栋团队整合快慢思考,能走迷宫推箱子
...本更低。能解决迷宫、推箱子等复杂问题。通过让模型在推理轨迹和最终答案上进行训练,再基于特定策略丢掉部分轨迹,Dualformer模型可以在模仿慢思考的同时,像快思考一样走捷径。由此能形成更简洁的思维链(CoT)。从结...……更多
刚刚,OpenAI震撼发布o1大模型!强化学习突破LLM推理极限
...专门解决难题。这是一个重大突破,新模型可以实现复杂推理,一个通用模型解决比此前的科学、代码和数学模型能做到的更难的问题。OpenAI 称,今天在 ChatGPT 和大模型 API 中新发布的是该系列中的第一款模型,而且还只是预览...……更多
Meta首款多模态Llama 3.2开源!1B羊驼宝宝,跑在手机上了
...I正在壮大。 能力一览11B和90B这两款模型,不仅支持图像推理场景,包括图表和图形在内的文档级理解、图像描述以及视觉定位任务,而且还能基于现有图表进行推理并快速给出回答。比如,你可以问「去年哪个月销售业绩最好...……更多
更多关于科技的资讯:
天玑9400性能之神!iQOO Neo10系列前瞻
今天,iQOO宣布将于11月29日16:00举行新品发布会,正式推出iQOO Neo10系列,此次发布的新品包括Neo10和Neo10 Pro
2024-11-18 18:23:00
银白战甲!华硕ROG STRIX X870-A GAMING WIFI吹雪主板图赏
快科技11月18日消息,随着AMD锐龙9000系列处理器上市,颜值性能兼具的ROG STRIX X870-A GAMING WIFI主板也已开售
2024-11-18 18:23:00
华为首款超百万豪车 博主绘制尊界S800假想图:玩灯到极致
快科技11月18日消息,说2024年广州车展上哪台车最神秘、最具话题性,那么一定非尊界品牌首车S800莫属,因为这款车虽然参展
2024-11-18 18:23:00
闲鱼注册用户已超6亿!首次将AI技术应用于闲置交易
快科技11月18日消息,在第29届联合国气候大会上的中国角边会上,闲鱼CTO陈举锋宣布平台注册用户数已突破6亿,并展示了“闲鱼AI智能体”这一AI模型
2024-11-18 18:23:00
大唐东营发电公司顺利完成2号机组同源核相、假同期并网试验
11月15日,东营发电公司顺利完成2号机组并网前同源核相、假同期试验。为确保整个试验顺利进行,继保专业提前制定同源核相
2024-11-18 18:51:00
室内充电起火 3辆电动自行车全部烧毁 夫妻俩无法逃生
据福建消防消息,11月15日21时38分,福建平潭海坛街道一居民房屋突发火灾,有人员被困。消防员迅速响应,到场后发现一楼门厅出口浓烟滚滚
2024-11-18 18:53:00
览邦Watch Ultra测评:腕上小手机,这才是该有的样子
在科技飞速发展的今天,智能手表已经从一种新兴的概念演变为众多消费者日常生活中不可或缺的伴侣。它不仅保留了传统手表的佩戴功能
2024-11-18 19:08:00
辽宁省40+高校升级5.5G:上传提升2倍 下载最快4.2Gbps
快科技11月18日消息,辽宁移动携手华为在辽宁各大高校进行5G-A网络升级行动,预计覆盖辽宁省40多所高校。目前,辽宁大学
2024-11-18 19:23:00
被蔚来抛弃的新造车:正败退上海滩
去年,合创汽车还带着全新MPV车型合创 V09,兴冲冲地参加广州车展。如今一年过后,热闹的广州车展,却没见这个广州本土品牌的身影
2024-11-18 19:23:00
全球罕见!女子腹痛查出怀孕 胎儿竟长在肝脏上
快科技11月18日消息,据报道,福建福州,一名女子因持续腹痛前往医院就诊,经过检查后惊讶地发现,原本应位于子宫内的胚胎竟然生长在了肝脏上
2024-11-18 19:23:00
孟晚舟透露华为用人评优标准:把平凡工作做到极致
快科技11月18日消息,在日前的香港中文大学(深圳)第九届研究生毕业典礼上,华为公司轮值董事长孟晚舟作为特邀嘉宾发表演讲
2024-11-18 19:23:00
【多彩新论】拆除职场“偏见围城”,释放人才活力
日前,教育部印发《关于做好2025届全国普通高校毕业生就业创业工作的通知》,要求严格落实校园招聘“三严禁”要求,即明确严禁发布含有限定985高校
2024-11-18 19:53:00
Linux Kernel 6.12正式发布!实时功能终于来了
快科技11月18日消息,Linus Torvalds在邮件中宣布推出Linux Kernel 6.12,带来了多项重大更新和新功能
2024-11-18 19:53:00
中国联通:6G 70%技术与5G重合 将有6大典型应用
时至今日,6G已经不是空中楼阁,正在从概念阶段转入原型阶段,全球统一标准也正在推进中。2024全球6G发展大会上,中国联通研究院中心总监李福昌在演讲中介绍了6G网路的六大特点
2024-11-18 19:53:00
华为将5G天线技术应用于Wi-Fi:一个设备无死角覆盖三个房间
快科技11月18日消息,陕西省企业数字化转型大会日前在西安召开。会上,陕西联通携手华为推出智企全光组网FTTO+ 2.0解决方案
2024-11-18 19:53:00