- 我的订阅
- 头条热搜
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
【新智元导读】RNN模型在长上下文中表现不佳？近日，来自清华的研究团队对此进行了深入的实验分析，结果表明：不是RNN的锅。与Transformer相比，RNN模型的一大优势是应对长序列的能力。比如Mamba，内部状态大小始终保持不变...……更多
2024-11-28 12:03:00长上,清华,下文,团队,状态,作者
...。千亿参数、万卡集群，——还有各大厂商一直在卷的超长上下文。从一开始的几K几十K，发展到了如今的百万token级别。Gemini的最新版本可以接收200万个token作为上下文。这大概相当于140万个单词、2小时视频或者22小时的音频。...……更多
2024-07-23 17:12:00正确率,长上,下文,模型,只是,能力
...Baichuan2-192K是目前全球最长的上下文窗口，也是目前支持长上下文窗口最优秀大模型Claude2（支持100K上下文窗口，实测约8万字）的4.4倍，更是GPT-4（支持32K上下文窗口，实测约 2.5万字）的14倍（1400%）。这不仅在上下文窗口长度上...……更多
2023-10-30 15:02:00王小川,王小,上下文,模型,上下,焦点
...数据集：LooGLE，专门用于测试和评估大语言模型（LLMs）长上下文理解能力。该数据集既能够评估LLMs对长文本的处理和检索能力，又可以评估其对文本长程依赖的建模和理解能力。结果不评不知道，一评估发现这些模型在复杂的...……更多
2024-08-08 09:39:00基准,北大,生成,模型,文本,评估
...），MixCon（无 MoE）训练过程损失更低（如图 6 所示）。
长上下文评估利用问答基准测试评估 MixCon 处理长上下文能力，使用 L - Eval 中最长上下文数据集的五个数据集，以少样本格式（每个实验用三个例子）进行实验。在 Narrativ...……更多
2024-10-16 13:34:00序列,架构,北大,混合,团队,性能
...compressivememory）整合到线性注意力机制中，用来处理无限长上下文。压缩记忆允许模型在处理新输入时保留和重用之前的上下文信息。它通过固定数量的参数来存储和回忆信息，而不是随着输入序列长度的增加而增加参数量，能...……更多
2024-04-14 02:57:00大内,机制,上下文,模型,处理,上下
...一款面向C端的大模型产品。早前，该公司宣布在大模型长上下文窗口技术上取得新的突破，Kimi已支持200万字超长无损上下文，并开启产品内测，该能力在不到半年内提升9倍。市场的火爆，导致Kimi服务器一度瘫痪，无法回复用...……更多
2024-03-23 14:00:00卷上,通义,阿里,文心,下文,模型
现在，长上下文视觉语言模型（VLM）有了新的全栈解决方案 ——LongVILA，它集系统、模型训练与数据集开发于一体。现阶段，将模型的多模态理解与长上下文能力相结合是非常重要的，支持更多模态的基础模型可以接受更灵活...……更多
2024-08-22 09:51:00英伟,准确率,支持,视频,序列,训练
...据类型，时序领域的大模型构建尚处于起步阶段。近期，清华大学的研究团队基于Transformer在大规模时间序列上进行生成式预训练，获得了任务通用的时序分析模型，展现出大模型特有的泛化性与可扩展性时间序列提供了数据随...……更多
2024-07-22 09:44:00时间序列,时序,清华,序列,生成,模型
...M 可能无法关注到重点，但随着模型能力提升，LLM 在确定长上下文中的重要信息方面越来越强了。
检索增强式提示：另一种可能的选择是使用检索。如同检索增强式生成（RAG）系统一样，可以出于效率或准确度的目的对长上下...……更多
2024-10-11 12:03:00智能,副教授,体系,智能,提示,体系
...据增强训练，Hunyuan-Large能够学习到更丰富的表示，处理长上下文输入，并更好地泛化到未见数据KV缓存压缩：采用分组查询注意力（GQA）和跨层注意力（CLA）策略，显著减少了KV缓存的内存占用和计算开销，提高了推理吞吐专家...……更多
2024-11-05 18:56:00腾讯,模型,模型,长上,腾讯,训练
...唯一的解决方法就是使用更大上下文的模型。OpenAI提供了长上下文模型支持，最新版本的Genie经过了数十亿token的数据训练。团队认为，相比超参数调整和数据量，数据的质量才是关键。因此他们还在数据混合方面进行了大量实...……更多
2024-08-13 14:46:00程序员,代码,程序,数据,模型,团队
...anEval 基准测试中得分为 74.1%。IT之家附测试对比表如下：长上下文理解方面，Grok-1.5 能够在其上下文窗口内处理多达 128k tokens 的长上下文。这使得 Grok 的内存容量增加到之前上下文长度的 16 倍，从而能够理解更长文档中的信息...……更多
2024-03-29 14:00:00马斯,马斯克,模型,语言,基准,上下文
...名为LONGPROC的基准测试工具，该工具专为评估模型在处理长上下文中的复杂信息并生成相应回复的能力而设计。实验结果略显意外：包括GPT-4o在内的众多顶尖模型，虽然在常规长上下文回忆基准测试中表现优异，但在应对复杂的...……更多
2025-01-20 15:59:00模型,性能,调查,模型,任务,长上
...关键是什么？了解的人可能知道，是Kimi推出了200万字的长上下文处理能力，但是在这之后，阿里、百度、360也是在纷纷跟进，甚至推出了更多的500字能力。这样来看，月之暗面的技术能力似乎很容易被复制，技术壁垒并不坚硬...……更多
2024-08-16 16:05:00汕头,独角兽,广东,估值,模型,商业
...Grok。如今，马斯克更新到Grok 1.5模型。新一代模型实现了长上下文理解和高级推理能力，计划将在未来几天内向早期测试人员和 X 平台（前 Twitter）上的现有 Grok 用户提供。具体来说，首先，Grok-1.5 最明显的改进之一是其在代码...……更多
2024-03-31 04:00:00估值,美金,要闻,芯片,高达,性能
...为设计下一代专门用于推理的AI模型提供了概念框架。
清华叉院姚期智、袁洋领衔这篇论文由清华交叉信息研究院姚期智、袁洋领衔，论文第一作者为张伊凡。张伊凡张伊凡2021年本科毕业于于北京大学元培学院，现为清华大学...……更多
2024-09-24 13:36:00维图,院士,逻辑,模型,一致,理论
...工智能创业公司“月之暗面”（Moonshot AI）宣布在大模型长上下文窗口技术上取得新的突破，Kimi智能助手已支持200万字超长无损上下文，并于即日起开启产品“内测”。苹果正在商谈让谷歌的大模型Gemini为iPhone的AI功能提供支持...……更多
2024-03-19 00:20:00阿布扎比,阿布,属地化,金融家,临港,范式
...简单。今年2月，谷歌发布的Gemini 1.5Pro模型曾一度创下最长上下文窗口的纪录。根据官方数据，谷歌Gemini1.5 Pro将上下文窗口容量提到了100万token（极限为1000万token）。这意味着机器可以一下子处理22小时的录音、超过十倍的完整...……更多
2024-03-28 10:06:00红楼梦,长文,实测,方言,红楼,模型
...领域首次发现！噪声会造成量子优势突然消亡。这是来自清华大学丘成桐数学科学中心助理教授魏朝晖团队的最新研究成果，刚刚登上Science子刊。（相关成果以“关联生成中量子优势的突然消亡”为题发表于综合性子刊Science Adv...……更多
2024-11-28 12:04:00清华,量子,成果,团队,数学,量子
...专家模型架构。这一模型系列中最小的Phi-3.5-mini-instruct在长上下文代码理解任务以明显优势击败Llama-3.1-8B-instruct和Mistral-7B-instruct，而其参数规模还不到Llama-3.1-8B-instruct的一半。微软本次发布的3款模型的名字中……更多
2024-08-22 09:49:00上下文,微软,架构,模型,上下,性能
...从数据共享平台检索相关信息来进一步提高回复的质量。长上下文窗口由Gemini1.5Pro实现，确保了回答的全面性和清晰度，同时引入了表格和脚注以提供更深层次的上下文。研究团队强调这些技术如何帮助大语言模型判断何时依赖...……更多
2024-09-13 20:42:00权重,模型,语言,开放,模型,数据
...种日常活动。评测结果表示，人类专家水平显著优于目前长上下文多模态模型中最厉害的Gemini Pro 1.5（85.0%对37.3%）。在多模态能力上，大模型们还任重而道远。HourVideo如何炼成？
之所以提出HourVideo，是因为研究人员发现目前长...……更多
2024-11-11 13:31:00团队,智能,空间,视频,模态,模型
...还会有新成果亮相。开启大模型应用新篇章事实上，无损长上下文是通往通用人工智能的基础技术，它也是业界一直以来的研究重点。从历史上看，模型架构的演进，本质上都是在提升有效的、无损的上下文长度。此次Kimi智能...……更多
2024-03-21 16:48:00风口,人工智能,龙头,人工,智能,公司
...管理上下文作为一个多智能体框架，MindSearch 为如何管理长上下文提供了全新尝试。当需要快速阅读大量网页时，由于最终答案只依赖 WebSearcher 的搜索结果，WebPlanner 将专注于分析用户提出的问题，不会被过长的网页信息分心。...……更多
2024-08-02 09:41:00国产,节点,搜索,问题,智能,信息
...导读】一台4090笔记本，秒生1K质量高清图。英伟达联合MIT清华团队提出的Sana架构，得益于核心架构创新，具备了惊人的图像生成速度，而且最高能实现4k分辨率。一台16GB的4090笔记本，仅需0.37秒，直接吐出1024×1024像素图片。如...……更多
2024-10-18 09:49:00英伟,清华,架构,大片,性能,笔记本
...关注的大模型前沿论文SwiftEdit：50 倍速文本引导图像编辑清华团队提出大模型“密度定律”足球领域首个视觉语言基础模型Aguvis：首个完全自主的纯视觉 GUI agentGoogle DeepMind：利用运动轨迹控制视频生成大模型数学新基准：成功...……更多
2024-12-10 09:53:00模型,语言基础,清华,定律,密度,团队
...应速度，与人自然交互。
另外，也用上了大语言模型的长上下文的理解能力，比如「你能把它们放到那里吗」，谁是「它们」，「那里」是哪里？这些只有大语言模型才有能力精准抓取长上下文里的指代关系。Figure 是否用到了...……更多
2024-03-17 19:11:00多远,投资人,创业者,机器人,机器,智能
...超过 100 万 token 的输入，并通过超强的回忆能力有效处理长上下文提示。其二，由于拥有良好的情境理解和适应能力，以及涵盖科学技术、艺术文化等广泛主题的知识库，因此该模型可以在分析用户语言、语气和意图的细微差别...……更多
2024-03-12 10:59:00范式,学界,业内人士,模型,业内,科研
...长度为2048个token的英语数据上进行训练，可能在多语言或长上下文上表现不佳。在未来的版本中，作者计划包括对更多具有更长上下文的多语言数据集的训练。最后，这项工作一直以有监督的多任务方式训练FLAMe模型。探索RLHF和...……更多
2024-08-05 09:37:00准确率,模型,评估,评估,模型,数据
更多关于科技的资讯：
浙江在线-浙江日报2月7日讯（记者 郑亚丽 通讯员 汪婷婷） 为持续提升浙江医疗器械产品技术创新水平和竞争力，日前浙江发布“新优器械”产品清单
2025-02-07 10:03:00
2月7日消息，露天停车的朋友肯定遇到过被鸟拉车上的经历，一坨两坨还好，及时清理掉就行了，然而近日有男子的爱车竟然被鸟给拉满了
2025-02-07 10:14:00
京东京溢鲜生鲜旗舰店，智利进口，静羽车厘子JJJJ级超级巨无霸5斤（净重4.5斤）报价257元，今日下单享7折优惠，可领50元店铺券
2025-02-07 10:14:00
快科技2月7日消息，OpenAI公司今天在X平台发布推文，宣布面向免费和付费用户更新o3-mini的思维链。OpenAI为付费用户更新o3-mini-high的思维链
2025-02-07 10:14:00
快科技2月7日消息，有网友表示，自己和朋友一块开特斯拉去机场接人，但在特斯拉FSD自动驾驶时发生追尾事故。网友称，当时车速6-70英里/小时
2025-02-07 10:14:00
快科技2月7日消息，电影《花样年华》25周年导演特别版今日官宣开启预售，2月14日上映。从六十年代到千禧年代，从含蓄隐忍到自由洒脱
2025-02-07 10:14:00
快科技2月7日消息，根据博板堂的信息，NVIDIA RTX 4060系列显卡供应将有很大改变。从2025年第一季度开始
2025-02-07 10:14:00
文｜李振兴日前，百事发布的2024年业绩显示，全年净收入918.54亿美元（约合6695亿人民币），微涨0.41%，净利润为96
2025-02-07 10:37:00
据灯塔专业版显示,《哪吒之魔童闹海》累计票房已超过60亿，影片也将于2月14日在北美上映。目前IMDB开分，《哪吒之魔童闹海》8
2025-02-07 10:44:00
快科技2月7日消息，据消息源Majin Bu在X平台爆料，iPhone 17标准版的手机壳渲染图曝光，其背部摄像头区域采用了全新的水平“药丸”形状开孔
2025-02-07 10:44:00
快科技2月7日消息，据报道，韩国国土交通部当地时间2月6日称，将要求韩国所有机场安装用于探测鸟类的摄像头和雷达。从明年开始
2025-02-07 10:44:00
快科技2月7日消息，近日，加利福尼亚州建设的高速铁路再遭美国当局的狠批，被扣上了“管理最差的项目”、“浪费数百亿美元”
2025-02-07 10:44:00
快科技2月7日消息，在价格飞涨的当下，鸡蛋在美国成了“奢侈品”。据报道，因禽流感疫情蔓，近期美国蛋价飞涨，平均价格接近历史最高水平
2025-02-07 10:44:00
快科技2月7日消息，在2024年第四季度财报电话会议上，AMD CEO苏姿丰确认，RX 9070系列显卡将于2025年3月初正式上市
2025-02-07 10:44:00
在全球数字化浪潮的推动下，电商出海已经成为众多企业拓展业务、寻找新增长点的重要途径。然而，面对复杂的海外市场环境，如何精准触达目标用户
2025-02-07 10:45:00