• 我的订阅
  • 头条热搜
OpenAI开启调查:GPT-4o及4o-mini模型性能下降
...据报道,OpenAI发布事故报告指出,当前遭遇GPT-4o和4o-mini模型性能下降问题,目前正在进行调查,并将尽快发布最新消息。近期,科研人员创新性地推出了一项名为LONGPROC的基准测试工具,该工具专为评估模型在处理长上下文中的...……更多
无一大模型及格! 北大/通研院提出超难基准,评估长文本理解生成
在长文本理解能力这块,竟然没有一个大模型及格!北大联合北京通用人工智能研究院提出了一个新基准数据集:LooGLE,专门用于测试和评估大语言模型(LLMs)长上下文理解能力。该数据集既能够评估LLMs对长文本的处理和检索...……更多
长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙
...今的LLM已经号称能够支持百万级别的上下文长度,这对于模型的能力来说,意义重大。但近日的两项独立研究表明,它们可能只是在吹牛,LLM实际上并不能理解这么长的内容。大数字一向吸引眼球。千亿参数、万卡集群,——还...……更多
支持1024帧、准确率近100%,英伟达「LongVILA」开始发力长视频
现在,长上下文视觉语言模型(VLM)有了新的全栈解决方案 ——LongVILA,它集系统、模型训练与数据集开发于一体。现阶段,将模型的多模态理解与长上下文能力相结合是非常重要的,支持更多模态的基础模型可以接受更灵活...……更多
微软连发3款Phi-3.5模型:128K上下文,首用MoE架构,部分性能超GPT-4o mini
...东西8月21日消息,今天,微软一口气甩出3款超强轻量级模型!微软本次发布的轻量级模型系列名为Phi-3.5,适合在内存和算力受限的环境中运行,均支持128k上下文长度。Phi-3.5-mini-instruct主要面向基础快速推理任务,Phi-3.5-MoE-instru...……更多
腾讯推出 Hunyuan-Large 开源大模型
IT之家11月5日消息,腾讯今日宣布推出Hunyuan-Large大模型,官方表示这是目前业界已经开源的基于Transformer的最大MoE模型,拥有3890亿总参数(389B)和520亿激活参数(52B)。腾讯今日在HuggingFace开源了Hunyuan-A52B-Pretrain、Hun……更多
梁文锋杨植麟论文撞题,“注意力机制”对大模型意味着什么
2月18日,在大洋彼岸的马斯克秀出最新大模型Grok 3当天,国产AI公司深度求索(DeepSeek)最新一篇论文引发关注,创始人梁文锋在署名之列,并2月16日提交到预印本平台arxiv。这篇论文的核心关于NSA(Natively Sparse Attention,原生稀疏...……更多
北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba
...领域中,序列建模是一项至关重要的任务。然而,现有的模型在捕捉长程依赖关系和高效建模序列方面仍面临诸多挑战。因此,北京大学林宙辰、徐鑫提出了一种全新混合序列建模架构 ——MixCon,它为解决这些难题带来了创新...……更多
不是RNN的锅!清华团队深入分析长上下文建模中的状态崩溃,Mamba作者点赞
【新智元导读】RNN模型在长上下文中表现不佳?近日,来自清华的研究团队对此进行了深入的实验分析,结果表明:不是RNN的锅。与Transformer相比,RNN模型的一大优势是应对长序列的能力。比如Mamba,内部状态大小始终保持不变...……更多
王小川公布最新大模型,号称全球最长上下文,是GPT-4的14倍|钛媒体焦点
搜狗创始人、百川智能创始人兼CEO 王小川国内大模型技术竞争加速,继讯飞星火、智谱推出最新产品之后,百川也迎来了新的大模型成果。钛媒体获悉,10月30日上午,王小川创立的 AI 大模型公司“百川智能”宣布,推出Baichuan...……更多
87.8%准确率赶超GPT-4o登顶!谷歌DeepMind发布自动评估模型FLAMe
【新智元导读】谷歌DeepMind推出LLM自动评估模型FLAMe系列,FLAMe-RM-24B模型在RewardBench上表现卓越,以87.8%准确率领先GPT-4o。大语言模型都卷起来了,模型越做越大,token越来越多,输出越来越长。那么问题来了,如何有效地评估大...……更多
真香!智谱大模型,有了首个免费的API
大模型API,正式进入Flash时代。最近一段时间,国内外的大模型行业卷的是「快速版」。5 月谷歌 I/O 大会上,新发布的 Gemini 1.5 大模型序列中出现了 Flash 版,主打轻量化和响应速度。到 7 月,OpenAI 又在 GPT-4o 的基础上推出了 Min...……更多
阿里大模型,再次开源大放送
阿里大模型,再次开源大放送——发布Qwen1.5版本,直接放出六种尺寸。最大的Qwen1.5-72B-Chat模型,在MT-Bench和Alpaca-Evalv2上,超越Claude-2.1、GPT-3.5-Turbo-0613。甚至在部分任务中,得分已经超过前几个版本的GPT-4。各地的开发者前……更多
又热闹了!OpenAI的加强版“Her”正式开放,压过了Gemini的“生产级”大升级…
...gle,更确切地说,是Google今天刚刚更新的两款升级版Gemini模型:Gemini-1.5-Pro-002和Gemini-1.5-Flash-002。狙击方式简单粗暴:直接宣布万众期待的GPT语音功能今天起正式开放。两个小时不到,就双叒抢走了Google好不容易的高光时刻。我...……更多
多模态模型免微调接入互联网,即插即用新框架,效果超闭源方案
一个5月份完成训练的大模型,无法对《黑神话·悟空》游戏内容相关问题给出准确回答。这是大模型的老毛病了。因为《黑神话》8月才上市,训练数据里没有它的相关知识。众所周知,大模型的训练和微调会消耗大量计算资源...……更多
infini-attention:谷歌大内存机制
...歌大改Transformer,“无限”长度上下文来了。现在,1B大模型上下文长度可扩展到1M(100万token,大约相当于10部小说),并能完成Passkey检索任务。8B大模型在500K上下文长度的书籍摘要任务中,拿下最新SOTA。这就是谷歌最新提出的...……更多
鄂维南院士领衔新作:大模型不止有RAG、参数存储,还有第3种记忆
2.4B 的 Memory3比更大的 LLM 和 RAG 模型获得了更好的性能。近年来,大型语言模型 (LLM) 因其非凡的性能而获得了前所未有的关注。然而, LLM 的训练和推理成本高昂,人们一直在尝试通过各种优化方法来降低成本。本文来自上海算...……更多
图灵奖得主Yoshua Bengio新作:Were RNNs All We Needed?
自从 Transformer 模型问世以来,试图挑战其在自然语言处理地位的挑战者层出不穷。这次登场的选手,不仅要挑战 Transformer 的地位,还致敬了经典论文的名字。再看这篇论文的作者列表,图灵奖得主、深度学习三巨头之一的 Yoshu...……更多
Claude 3大模型引起学界关注,业内人士:或将开启科研新范式
...公司 Anthropic 于太平洋时间 2024 年 3 月 4 日发布 Claude 3 大模型以来,全世界网友正在对其进行广泛测试,并得出科研领域正在被该模型颠覆的观点。那么,这到底是一个怎样的模型?具有哪些出色的能力?又将会给哪些领域带来...……更多
马斯克 xAI 推出 Grok-1.5 大语言模型
...公司 xAI 今天在官方博客中宣布,正式推出 Grok-1.5 大语言模型。Grok-1.5 具有改进的推理能力和 128k 的上下文长度,其中最显著的改进之一是其在编码和数学相关任务中的表现。Grok-1.5 将在未来几天内在 平台上向早期测试人员和...……更多
DeepSeek发布最新NSA技术论文!创始人梁文锋参与引人注目
...为,业界越来越认识到长上下文建模对于下一代大型语言模型的重要性。然而,随着序列长度的增加,标准注意力机制的高复杂度成为了关键的延迟瓶颈。据了解,NSA通过高效的长序列处理能力,使模型能够直接处理整本书籍、...……更多
Kimi爆火背后:访问量仅次于文心一言和阿里通义,国内外大模型都在卷上下文
...念股因此连续拉出三个涨停。这背后是由一款叫Kimi的大模型产品催化,其是国内大模型初创公司月之暗面发布的一款面向C端的大模型产品。早前,该公司宣布在大模型长上下文窗口技术上取得新的突破,Kimi已支持200万字超长无...……更多
空间智能版ImageNet来了!李飞飞吴佳俊团队出品
...斯坦福李飞飞吴佳俊团队!HourVideo,一个用于评估多模态模型对长达一小时视频理解能力的基准数据集,包含多种任务。通过与现有模型对比,揭示当前模型在长视频理解上与人类水平的差距。2009年,李飞飞团队在CVPR上首次对...……更多
专家模型不要专家并行!微软开源MoE新路径
...日,来自微软的研究人员开源了使用全新方法训练的MoE大模型,不走寻常路,且编码和数学表现出色。继Phi家族之后,微软又开源了新的混合专家大模型——GRIN MoE。与Phi-3.5同样的个头(16 * 3.8B),却采用了截然不同的训练方法...……更多
AGI一日要闻:台积电预测2040年GPU芯片性能提升1000倍;Scale估值高达130亿美金
...封装的晶体管数量增加了50%。Ampere和Hopper是当今大型语言模型 ( LLM ) 训练的主力,训练ChatGPT需要数万个这样的处理器。HBM是对AI日益重要的另一项关键半导体技术的一个例子,通过将芯片堆叠在一起来整合系统的能力,台积电称...……更多
国内创业者和投资人如何看待 Figure 01 机器人:距离具身智能还有多远?
...业者有什么新的启发?针对以上问题,我们采访了国内大模型和机器人行业的创业者、投资人,以下回答经 Founder Park 整理编辑。大模型+机器人,OpenAI 又「截胡」了 Google李志飞:出门问问创始人&CEO。 原理:Figure 类似 PaLM-E +...……更多
手机市场深陷泥沼,厂商如何破冰?
...题,在这一关键节点,厂商们亟需新的解题思路。3、大模型被认为是下一突破点,但仍没合适的落地方式。自2023年初大模型成为互联网发展技术趋势的关键词,手机厂商关于大模型的探讨就一直没有停止。从逻辑上讲,手机厂...……更多
国产大模型加速落地,争夺“中国版ChatGPT”心智定位
从创业狂潮到争相落地,国产大模型进入了新的竞争阶段。5月7日,零一万物官宣了一站式AI工作平台——万知。据官方介绍,万知可以帮助用户做会议纪要、周报、写作助手,还可以解读财报、论文等各类文件,也可以实现PPT...……更多
CPU,正在被AI时代抛弃?
...对话可以通过语音识别技术被录入到病例系统中,随后大模型AI推理技术辅助进行智能总结和诊断,医生们撰写病例的效率显著提高。AI推理的应用不仅节省了时间,也保护了患者隐私;在法院、律所等业务场景中,律师通过大...……更多
GPT-4o不会数r,被外国小哥原地逼疯! 谷歌论文揭秘Transformer「数不到n」
...Riley Goodside小哥,依然在用「Strawberry里有几个r」折磨大模型们,GPT-4o在无限次PUA后,已经被原地逼疯!相比之下,Claude坚决拒绝PUA,是个大聪明。而谷歌最近的论文也揭示了本质原因:LLM没有足够空间,来存储计数向量。Strawber...……更多
更多关于科技的资讯:
俄罗斯禁售一款中国车
快科技2月22日消息,综合俄罗斯以及国内媒体报道,本月早些时候,俄罗斯技术法规和计量局宣布正式撤销中国陕汽SX3258型卡车的车辆型式认证(VTA)
2025-02-22 08:00:00
iPhone 16e卖的有多差:预购一晚 现在下单还能拿到首发
快科技2月22日消息,iPhone 16e在昨晚9点开启预购,一夜的时间过去,苹果官网现在下单依然能够在2月28日首发日拿到新机
2025-02-22 08:00:00
举报《哪吒2》不适合带孩子看遭炮轰!北大龙马妈硬钢网友 专家回应
快科技2月22日消息,近日一位北大育儿博主自称北大副教授张某(网名“北大龙妈”),对《哪吒2》进行了抵制。呼吁所有家长都不要带孩子看《哪吒 2》
2025-02-22 08:00:00
山东移动全面接入DeepSeek,加速产业数智升级
近日,国产开源大模型DeepSeek携超强深度学习能力与广阔应用场景,以颠覆性突破震撼亮相,凭借“高性能+低成本”打破技术壁垒
2025-02-22 08:22:00
应急车道超车底盘撞石头:瞬间爆燃起火
快科技2月22日消息,奉劝大家不要贪图一时之快走应急车道,除了有被拍罚款的风险,还有可能导致车辆受损。近日有网友的行车记录仪拍到了非常让人震惊的一幕
2025-02-22 08:30:00
快科技2月22日消息,近日,宇树科技创始人王兴兴接受凤凰卫视专访,深度解析公司最新研发的人形机器人H1的技术亮点及行业前景
2025-02-22 08:30:00
低空经济“飞”出新场景
本文转自:人民网-江西频道人民网记者 邱烨2月17日,步入鄱阳湖畔的共青城低空经济产业园,一片繁忙景象。森林灭火无人机悬停测试引发的轰鸣声穿透车间
2025-02-22 08:33:00
泰康在线“泰易赔”小程序:全流程线上理赔的创新实践
泰康在线作为互联网财险公司的代表,近年来在车险理赔领域不断探索创新,以科技赋能理赔服务,打造了全流程线上理赔体系,其中“泰易赔”小程序成为核心亮点
2025-02-22 08:37:00
开学季“黑科技” 全国首个校内自动驾驶服务站点在永川开通
2月21日,位于重庆市永川区的某学院,师生们在校园自动驾驶服务站点上下车。随着开学季来临,该校的师生们迎来了一项“黑科技”福利——全国首个校内自动驾驶服务站点开通
2025-02-22 08:49:00
比机动车还要大!可怕的老头乐上路:抄袭的还是国产百万豪车
快科技2月22日消息,印象中老头乐都是非常紧凑的车子,然而你可能想象不到,已经有老头乐的尺寸超过正常的机动车,就这样堂而皇之地开到了路上去
2025-02-22 09:00:00
●杨炯过年带孩子去厦门中山路,原计划逛半小时,结果孩子一会儿看街头快闪,一会儿看百年影像展,一走就是两小时。光是在街头装置拍照打卡
2025-02-22 09:24:00
厦门网讯(厦门日报记者 庄筱婧)即日起至3月31日,个人消费者在湖里区购买手机、平板、智能手表手环等3类数码产品,单件销售价格超过6000元
2025-02-22 09:24:00
都2025年了 还有谁买iPhone 16e:单摄、128G存储卖近5000元
快科技2月22日消息,iPhone 16e本周发布后引起了网友的关注,但大多数是吐槽,有些人甚至喊出了“谁买谁就是傻”
2025-02-22 09:30:00
小米15 Ultra外观确认:首次拼接机身!双长焦四摄
快科技2月22日消息,小米官方在最新预热视频中,展示了小米15 Ultra的轮廓,终于正式确认了新机外观。整体来看,小米15 Ultra与此前曝光过的真机图完全一致
2025-02-22 09:30:00
围观变主角 男子车祸现场吃瓜被查出酒驾:罚2000记30分
2月22日消息,围观是人类天性,然而有时候围观可能把自己从吃瓜群众变成舞台中央的表演者。近日在安徽安庆,一男子在交通事故现场凑热闹
2025-02-22 09:30:00