- 我的订阅
- 头条热搜
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
【新智元导读】RNN模型在长上下文中表现不佳？近日，来自清华的研究团队对此进行了深入的实验分析，结果表明：不是RNN的锅。与Transformer相比，RNN模型的一大优势是应对长序列的能力。比如Mamba，内部状态大小始终保持不变...……更多
2024-11-28 12:03:00长上,清华,下文,团队,状态,作者
...。千亿参数、万卡集群，——还有各大厂商一直在卷的超长上下文。从一开始的几K几十K，发展到了如今的百万token级别。Gemini的最新版本可以接收200万个token作为上下文。这大概相当于140万个单词、2小时视频或者22小时的音频。...……更多
2024-07-23 17:12:00正确率,长上,下文,模型,只是,能力
...，实现将算法创新与硬件对齐的优化相结合，进行高效的长上下文建模。DeepSeek在论文中介绍，NSA采用动态分层稀疏策略，将粗粒度标记压缩与细粒度标记选择相结合，以保持全局上下文感知和局部精度。通过两项关键创新推进...……更多
2025-02-19 18:43:00文锋,对大,注意力,模型,意味,机制
...Baichuan2-192K是目前全球最长的上下文窗口，也是目前支持长上下文窗口最优秀大模型Claude2（支持100K上下文窗口，实测约8万字）的4.4倍，更是GPT-4（支持32K上下文窗口，实测约 2.5万字）的14倍（1400%）。这不仅在上下文窗口长度上...……更多
2023-10-30 15:02:00王小川,王小,上下文,模型,上下,焦点
...数据集：LooGLE，专门用于测试和评估大语言模型（LLMs）长上下文理解能力。该数据集既能够评估LLMs对长文本的处理和检索能力，又可以评估其对文本长程依赖的建模和理解能力。结果不评不知道，一评估发现这些模型在复杂的...……更多
2024-08-08 09:39:00基准,北大,生成,模型,文本,评估
...），MixCon（无 MoE）训练过程损失更低（如图 6 所示）。
长上下文评估利用问答基准测试评估 MixCon 处理长上下文能力，使用 L - Eval 中最长上下文数据集的五个数据集，以少样本格式（每个实验用三个例子）进行实验。在 Narrativ...……更多
2024-10-16 13:34:00序列,架构,北大,混合,团队,性能
...compressivememory）整合到线性注意力机制中，用来处理无限长上下文。压缩记忆允许模型在处理新输入时保留和重用之前的上下文信息。它通过固定数量的参数来存储和回忆信息，而不是随着输入序列长度的增加而增加参数量，能...……更多
2024-04-14 02:57:00大内,机制,上下文,模型,处理,上下
...一款面向C端的大模型产品。早前，该公司宣布在大模型长上下文窗口技术上取得新的突破，Kimi已支持200万字超长无损上下文，并开启产品内测，该能力在不到半年内提升9倍。市场的火爆，导致Kimi服务器一度瘫痪，无法回复用...……更多
2024-03-23 14:00:00卷上,通义,阿里,文心,下文,模型
现在，长上下文视觉语言模型（VLM）有了新的全栈解决方案 ——LongVILA，它集系统、模型训练与数据集开发于一体。现阶段，将模型的多模态理解与长上下文能力相结合是非常重要的，支持更多模态的基础模型可以接受更灵活...……更多
2024-08-22 09:51:00英伟,准确率,支持,视频,序列,训练
...据类型，时序领域的大模型构建尚处于起步阶段。近期，清华大学的研究团队基于Transformer在大规模时间序列上进行生成式预训练，获得了任务通用的时序分析模型，展现出大模型特有的泛化性与可扩展性时间序列提供了数据随...……更多
2024-07-22 09:44:00时间序列,时序,清华,序列,生成,模型
...M 可能无法关注到重点，但随着模型能力提升，LLM 在确定长上下文中的重要信息方面越来越强了。
检索增强式提示：另一种可能的选择是使用检索。如同检索增强式生成（RAG）系统一样，可以出于效率或准确度的目的对长上下...……更多
2024-10-11 12:03:00智能,副教授,体系,智能,提示,体系
...二。根据论文摘要，DeepSeek团队认为，业界越来越认识到长上下文建模对于下一代大型语言模型的重要性。然而，随着序列长度的增加，标准注意力机制的高复杂度成为了关键的延迟瓶颈。据了解，NSA通过高效的长序列处理能力...……更多
2025-02-19 12:26:00文锋,技术论文,创始人,论文,技术,推理
...据增强训练，Hunyuan-Large能够学习到更丰富的表示，处理长上下文输入，并更好地泛化到未见数据KV缓存压缩：采用分组查询注意力（GQA）和跨层注意力（CLA）策略，显著减少了KV缓存的内存占用和计算开销，提高了推理吞吐专家...……更多
2024-11-05 18:56:00腾讯,模型,模型,长上,腾讯,训练
...唯一的解决方法就是使用更大上下文的模型。OpenAI提供了长上下文模型支持，最新版本的Genie经过了数十亿token的数据训练。团队认为，相比超参数调整和数据量，数据的质量才是关键。因此他们还在数据混合方面进行了大量实...……更多
2024-08-13 14:46:00程序员,代码,程序,数据,模型,团队
...anEval 基准测试中得分为 74.1%。IT之家附测试对比表如下：长上下文理解方面，Grok-1.5 能够在其上下文窗口内处理多达 128k tokens 的长上下文。这使得 Grok 的内存容量增加到之前上下文长度的 16 倍，从而能够理解更长文档中的信息...……更多
2024-03-29 14:00:00马斯,马斯克,模型,语言,基准,上下文
...名为LONGPROC的基准测试工具，该工具专为评估模型在处理长上下文中的复杂信息并生成相应回复的能力而设计。实验结果略显意外：包括GPT-4o在内的众多顶尖模型，虽然在常规长上下文回忆基准测试中表现优异，但在应对复杂的...……更多
2025-01-20 15:59:00模型,性能,调查,模型,任务,长上
...关键是什么？了解的人可能知道，是Kimi推出了200万字的长上下文处理能力，但是在这之后，阿里、百度、360也是在纷纷跟进，甚至推出了更多的500字能力。这样来看，月之暗面的技术能力似乎很容易被复制，技术壁垒并不坚硬...……更多
2024-08-16 16:05:00汕头,独角兽,广东,估值,模型,商业
...Grok。如今，马斯克更新到Grok 1.5模型。新一代模型实现了长上下文理解和高级推理能力，计划将在未来几天内向早期测试人员和 X 平台（前 Twitter）上的现有 Grok 用户提供。具体来说，首先，Grok-1.5 最明显的改进之一是其在代码...……更多
2024-03-31 04:00:00估值,美金,要闻,芯片,高达,性能
...为设计下一代专门用于推理的AI模型提供了概念框架。
清华叉院姚期智、袁洋领衔这篇论文由清华交叉信息研究院姚期智、袁洋领衔，论文第一作者为张伊凡。张伊凡张伊凡2021年本科毕业于于北京大学元培学院，现为清华大学...……更多
2024-09-24 13:36:00维图,院士,逻辑,模型,一致,理论
...工智能创业公司“月之暗面”（Moonshot AI）宣布在大模型长上下文窗口技术上取得新的突破，Kimi智能助手已支持200万字超长无损上下文，并于即日起开启产品“内测”。苹果正在商谈让谷歌的大模型Gemini为iPhone的AI功能提供支持...……更多
2024-03-19 00:20:00阿布扎比,阿布,属地化,金融家,临港,范式
...简单。今年2月，谷歌发布的Gemini 1.5Pro模型曾一度创下最长上下文窗口的纪录。根据官方数据，谷歌Gemini1.5 Pro将上下文窗口容量提到了100万token（极限为1000万token）。这意味着机器可以一下子处理22小时的录音、超过十倍的完整...……更多
2024-03-28 10:06:00红楼梦,长文,实测,方言,红楼,模型
...领域首次发现！噪声会造成量子优势突然消亡。这是来自清华大学丘成桐数学科学中心助理教授魏朝晖团队的最新研究成果，刚刚登上Science子刊。（相关成果以“关联生成中量子优势的突然消亡”为题发表于综合性子刊Science Adv...……更多
2024-11-28 12:04:00清华,量子,成果,团队,数学,量子
...专家模型架构。这一模型系列中最小的Phi-3.5-mini-instruct在长上下文代码理解任务以明显优势击败Llama-3.1-8B-instruct和Mistral-7B-instruct，而其参数规模还不到Llama-3.1-8B-instruct的一半。微软本次发布的3款模型的名字中……更多
2024-08-22 09:49:00上下文,微软,架构,模型,上下,性能
...从数据共享平台检索相关信息来进一步提高回复的质量。长上下文窗口由Gemini1.5Pro实现，确保了回答的全面性和清晰度，同时引入了表格和脚注以提供更深层次的上下文。研究团队强调这些技术如何帮助大语言模型判断何时依赖...……更多
2024-09-13 20:42:00权重,模型,语言,开放,模型,数据
...种日常活动。评测结果表示，人类专家水平显著优于目前长上下文多模态模型中最厉害的Gemini Pro 1.5（85.0%对37.3%）。在多模态能力上，大模型们还任重而道远。HourVideo如何炼成？
之所以提出HourVideo，是因为研究人员发现目前长...……更多
2024-11-11 13:31:00团队,智能,空间,视频,模态,模型
...还会有新成果亮相。开启大模型应用新篇章事实上，无损长上下文是通往通用人工智能的基础技术，它也是业界一直以来的研究重点。从历史上看，模型架构的演进，本质上都是在提升有效的、无损的上下文长度。此次Kimi智能...……更多
2024-03-21 16:48:00风口,人工智能,龙头,人工,智能,公司
...管理上下文作为一个多智能体框架，MindSearch 为如何管理长上下文提供了全新尝试。当需要快速阅读大量网页时，由于最终答案只依赖 WebSearcher 的搜索结果，WebPlanner 将专注于分析用户提出的问题，不会被过长的网页信息分心。...……更多
2024-08-02 09:41:00国产,节点,搜索,问题,智能,信息
...导读】一台4090笔记本，秒生1K质量高清图。英伟达联合MIT清华团队提出的Sana架构，得益于核心架构创新，具备了惊人的图像生成速度，而且最高能实现4k分辨率。一台16GB的4090笔记本，仅需0.37秒，直接吐出1024×1024像素图片。如...……更多
2024-10-18 09:49:00英伟,清华,架构,大片,性能,笔记本
...关注的大模型前沿论文SwiftEdit：50 倍速文本引导图像编辑清华团队提出大模型“密度定律”足球领域首个视觉语言基础模型Aguvis：首个完全自主的纯视觉 GUI agentGoogle DeepMind：利用运动轨迹控制视频生成大模型数学新基准：成功...……更多
2024-12-10 09:53:00模型,语言基础,清华,定律,密度,团队
...应速度，与人自然交互。
另外，也用上了大语言模型的长上下文的理解能力，比如「你能把它们放到那里吗」，谁是「它们」，「那里」是哪里？这些只有大语言模型才有能力精准抓取长上下文里的指代关系。Figure 是否用到了...……更多
2024-03-17 19:11:00多远,投资人,创业者,机器人,机器,智能
更多关于科技的资讯：
昨天，孙女士来电：请问70岁以上的老年人看电影有什么优惠？现在《哪吒2》很火，我们很想看。2024年杭州电影惠民工程老年人优惠观影活动已经结束
2025-02-21 09:28:00
时隔三年之后，苹果终于更新了“入门级”iPhone。但这次的入门机价格一点也不亲民。苹果并不愿意为了销量，放弃行业最高的利润率
2025-02-21 09:29:00
快科技2月21日消息，昨天OPPO发布了全球最薄的折叠屏手机Find N5，而刘作虎也是直言，打造它真的是太难了。刘作虎接受媒体采访时表示
2025-02-21 09:29:00
快科技2月20日消息，RTX 5070 Ti上市时间从原定的2月13日推迟到了2月20日，RTX 5070也从原定的2月底推迟到了3月5日
2025-02-21 09:29:00
快科技2月21日消息，在余承东看来，华为智能驾驶是遥遥领先的。余承东表示，HUAWEI ADS目前已实现全国都能开、有位就能停
2025-02-21 09:29:00
2月21日消息，近日，美国社保再曝黑账：该国总人口为3.41亿，社保系统里却有3.98亿人，多出来了近6000万人。在美国社保系统里
2025-02-21 09:29:00
今年春节，大数据冷不丁推荐了时的科技的视频，这篇稿子也由此而来。 时的科技正式签署问题纪要G-1整个视频4分钟不到，却埋了个重要信息
2025-02-21 09:45:00
近日，国内领先的智能网络存储品牌极空间私有云宣布，斩获“2024年天猫、京东双平台网络存储销额、销量双冠军”殊荣。这一好成绩不仅彰显了极空间在技术创新和用户口碑上的卓越表现
2025-02-21 09:45:00
哈尔滨第九届亚洲冬季运动会顺利闭幕,与此同时,以冰雪旅游、冰雪运动为底色的冰雪经济仍在“发光发热”,朝着万亿规模迈进。当各大户外品牌扎堆“冰雪+”赛道时
2025-02-21 09:46:00
数字资产正在重塑社会的价值传递方式，成为连接物理世界与数字世界的价值桥梁。区块链技术的不可篡改性、去中心化特征，为数字资产的确权
2025-02-21 09:48:00
在当今快节奏的生活中，优质的音频体验已经成为许多人不可或缺的一部分。无论是通勤途中、健身房里还是在家放松时，一款出色的耳机不仅能带来HiFi听觉盛宴
2025-02-21 09:53:00
文｜罗曾2025年2月16日，由中国医学科学院肿瘤医院泌尿外科与京东方智慧医工研究院联合主办的“泌尿系统肿瘤治疗新技术论坛”在京召开
2025-02-21 09:54:00
快科技2月21日消息，对于现在的华为，有日本媒体直言，早已避开了美国的制裁。近日，有日媒发表题为《华为突破“包围圈”》的文章指出
2025-02-21 09:59:00
快科技2月21日消息，据报道，钉钉宣布其AI企业搜索向所有用户免费开放，同时新增支持慢思考模式和全网搜索，支持移动端、桌面端7
2025-02-21 09:59:00