- 我的订阅
- 头条热搜
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
...少了4到20倍，具体加速效果取决于序列长度。例如，在1k上下文中，训练速度提高了4倍；在4k上下文中，提高了10倍；而在8k上下文中，更是提高了20倍。研究人员指出，nGPT的优化路径从超球面上的点开始，通过位移来贡献最终的...……更多
2024-10-20 15:52:00速度,训练,全新,模型,球面,上下文
...的Qwen2.5-Turbo已在阿里云百炼上线，该模型支持100万超长上下文，相当于100万个英文单词或150万个汉字，在多个长文本评测集上的性能表现超越GPT-4。即日起，所有用户可在阿里云百炼调用Qwen2.5-TurboAPI，百万tokens仅需0.3元。全新...……更多
2024-11-21 09:48:00百炼,阿里,上下文,模型,上下,支持
...致训练成本飙升。“简单来说，就像做阅读理解时忽视了上下文的语义关系，导致生成图像中经常出现偏差需要反复修正，大幅增加了训练成本。”程明明说。如何降低训练成本、提高训练效率？研究团队在扩散训练过程中引入...……更多
2024-04-03 07:20:00人工智能,提速,人工,模型,训练,智能
...层，相比 Mamba 可将 KV 缓存减少 32 倍。例如，在 256K 令牌上下文环境中，MixCon 仍能保持较小的 KV 缓存优势（如表 1 所示）。在吞吐量方面，处理长序列时，Conba 层计算效率更高，增加其比例可提高整体吞吐量。基本配置单位是 ...……更多
2024-10-16 13:34:00序列,架构,北大,混合,团队,性能
...有效地捕获其关系。这种通过比较文本中每个token来理解上下文的方式，需要更多的计算能力和内存来处理不断增长的上下文窗口。如果资源没有相应扩展，推理速度会变慢，最终无法处理超过某个固定长度的文本。为了解决这...……更多
2024-08-14 09:43:00一鸣,霸主,模型,再次,模型,序列
...LM 中，显式记忆是继隐式记忆（模型参数）和工作记忆（上下文键值）之后的第三种记忆形式。
具体而言，本文引入了一种新的记忆格式，即显式记忆，其特点是写入成本和读取成本相对较低。如图 1 所示，模型首先将知识库...……更多
2024-07-11 09:33:00维南,领衔,院士,新作,模型,存储
...应用的底层逻辑。新一代大语言模型继续保持多模态、长上下文等方面的性能优势，又因为速度和效率的大幅提升获得了更多开发者的青睐。在实际应用场景中，新模型适用于处理高频次、相对简单的任务，禁得起人们的反复调...……更多
2024-08-28 09:43:00真香,模型,模型,能力,应用,开发
...（ACL）上。他们通过一系列实验验证了 AI 大模型在不同上下文条件下的表现，结果发现：在零样本（zero-shot）的情况下，许多大模型根本无法展现所谓的“涌现能力”，反而表现得相当一般。他们表示，这一发现有助于理解 LLM ...……更多
2024-08-19 09:31:00模型,威胁,人类,能力,研究,模型
...每个单词（或 token）与文本中的每个单词进行比较来理解上下文，它需要更多的计算能力和内存需求来处理不断增长的上下文窗口。但是如果不相应地扩展计算资源，模型推理速度就会变慢，超过一定长度的文本就没法处理了。...……更多
2024-08-14 09:39:00力大,架构,模型,模型,架构,训练
...直相信并期待着RNN回归的那天：毕竟，凭借强大的顺序和上下文感知能力，RNN曾在各种任务中表现惊艳。直到后来遭遇了反向训练的瓶颈，因Scaling Law而跌落神坛。然而，人们并没有忘记RNN。RWKV、Mamba、xLSTM等RNN衍生模型接连出...……更多
2024-10-26 09:53:00高下,新作,大道,门控,模型,训练
大模型的上下文长度快速增长，超长上下文解锁新应用，但推理计算代价高昂，上下文本身对于信息不会进行压缩，不能直接捕捉其中的深层知识和规律。上海人工智能实验室领军科学家林达华。过去一年，人工智能领域风起...……更多
2024-03-25 10:53:00林达,模型,之路,结构,发展,模型
...M替换T5作为文本编码器，并设计了复杂的人类指令，通过上下文学习来增强图像-文本对齐。
高效的训练和采样：提出Flow-DPM-Solver来减少采样步骤，并通过高效的标题标注和选择来加速收敛。基于以上的算法创新，相较于领先扩...……更多
2024-10-18 09:49:00英伟,清华,架构,大片,性能,笔记本
...刚刚诞生！Vidu 1.5一上线，全网网友都震惊了：LLM独有的上下文学习优势，视觉模型居然也有了。来自中国的视频生成模型，再一次震惊了全球大模型圈。生数科技推出的Vidu 1.5，成为世界首个支持多主体一致性的多模态模型！...……更多
2024-11-15 09:52:00模型,果仁,上下文,地表,上下,视觉
...，Meta还推出了1B和3B两个轻量级纯文本的版本，可支持128K上下文。别看参数少，1B/3B在总结摘要、指令遵循、重写等任务上，表现非常出色，而且专为Arm处理器做了优化。LeCun激动地表示，「可爱的大羊驼宝宝来了」！Meta首席技...……更多
2024-09-27 13:39:00模态,宝宝,模型,图像,训练,文本
...任务中展现了广泛的适用性。模型只需快速微调就能适应上下文，可以无缝部署在各种场景中。
可扩展性：OpenCity展示了有希望的缩放定律，表明该模型有潜力在最小的额外训练或微调需求下有效地扩展和适应新的、以前未见过...……更多
2024-09-02 13:34:00路况,样本,模型,交通,交通,模型
...Phi-3.5，适合在内存和算力受限的环境中运行，均支持128k上下文长度。Phi-3.5-mini-instruct主要面向基础快速推理任务，Phi-3.5-MoE-instruct可胜任复杂推理任务，Phi-3.5-vision-instruct则兼具文本与视觉能力。性能最强大的Phi-3……更多
2024-08-22 09:49:00上下文,微软,架构,模型,上下,性能
...例和更先进的模型令现有数据资源库和额外数据源对模型上下文和训练的价值更甚。数据的不断生成促成了更多的数据存储，而更多的数据存储又进一步推动数据生成，一个良性循环的人工智能数据周期就此诞生。西部数据在今...……更多
2024-09-05 14:25:00人工智能,支柱,人工,存储,智能,数据
...其支持Anthropic Claude 2.1和Meta LLama 2 70B，可在高达200K标记上下文窗口中将开放式对话的错误陈述减少50%。同时强大而全面的功能为模型定制提供了全方位的训练和调试等功能，其不仅可以对已有的Amazon Titan Text Lite与Express模型进……更多
2024-01-03 15:17:00之旅,亚马,亚马逊,陈晓,科技,数据
...以带来大幅的模型性能提升。同时，GPT-3论文正式提出“上下文学习”，建立了以提示学习方法为基础技术路线的任务求解范式。ChatGPT：一举成为现象级应用，引入RLHF算法改进训练数据GPT系列模型的技术演变（ChatGPT）：在GPT-3...……更多
2024-10-21 10:03:00模型,行业报告,新纪元,报告,发展,行业
...int4，并将键值缓存量化为int8，可令LLaMA3.18B在完整的128K上下文长度下仅占用18.9GB的显存。 ……更多
2024-10-03 02:58:00工具集,工具,模型,可将,训练,推理
...开放日上，智谱AI发布新一代基座大模型GLM-4，支持128K的上下文窗口长度，单次提示词能处理的文本可达300页，文生图和多模态理解得到增强，支持处理Excel、PDF、PPT等格式的文件，可自动调用代码解释器进行复杂的方程或微积...……更多
2024-01-17 16:47:00模型,基座,基金,模型,文生,模态
...发者提供了前段时间在I/O大会上官宣的Gemini 1.5 Pro的200万上下文窗口访问权限、Gemini API的代码执行功能，并在Google AI Studio中添加了Gemma 2。在最新的博客中，谷歌宣布向所有开发者开放了Gemini 1.5 Pro的200万token上下文窗口访……更多
2024-06-29 09:37:00诚意,经济,模型,训练,性能,注意力
...运用GPT的技术进行学习，从而构建一个个精准的指纹特征上下文模型，将指纹特征转化为了有联系的上下文进行生成式训练学习。再次，德施曼利用GPT的掩码遮挡生成式训练，能通过算法随机“遮挡”部分指纹特征进行训练，使...……更多
2024-04-03 11:48:00扭力,电机,再次,智能,行业,技术
...专家架构，超10TB tokens训练，覆盖大量合成数据，推理时上下文窗口达200K左右。云、端、边全栈大模型产品矩阵中，用于终端设备的“商汤端侧大模型”可满足各类终端用户对大模型技术的应用需求。“日日新5.0”和GPT-4回答趣...……更多
2024-04-24 09:32:00商汤,模型,升级,商汤,模型,推理
...的触达，可以让用户在驾车的过程中，通过简单的语音和上下文的一些辅助，帮助他更好的完成交互。在一些智能的操控领域以外，我们也希望更多的结合传感器和座舱能力，更主动的帮助用户去完成一些面对环境变化时的操作...……更多
2024-03-19 14:00:00智化,腾讯,人工智能,汽车行业,生产力,人工
...Assist项目可接收玩家的语音或文字输入内容，游戏窗口的上下文信息，并通过AI视觉模型处理数据。这些模型增强了与游戏知识数据库相连的大语言模型(LLM)的上下文感知和对特定游戏及应用的理解，然后生成定制的回复，以文...……更多
2024-06-07 04:47:00进化,助手,助手,模型,性能,开发者
...k。如今，马斯克更新到Grok 1.5模型。新一代模型实现了长上下文理解和高级推理能力，计划将在未来几天内向早期测试人员和 X 平台（前 Twitter）上的现有 Grok 用户提供。具体来说，首先，Grok-1.5 最明显的改进之一是其在代码和...……更多
2024-03-31 04:00:00估值,美金,要闻,芯片,高达,性能
...答、对话、写作、翻译等功能，后者则可以完成处理200K上下文、多文档阅读理解，以及超长知识库构建等任务。
今年3月6日，零一万物官微宣布开源Yi-9B模型。据介绍，Yi-9B是目前Yi系列模型中代码和数学能力最强的模型，实际...……更多
2024-05-07 18:33:00心智,中国,落地,模型,定位,国产
...言模型）和中文大模型榜单C-Eval排行榜已经爬升到1位。上下文窗口，意味着模型的“记忆力”。据介绍，Yi目前拥有200K上下文窗口，可处理约40万字的文本——这也是目前全球大模型中最长的上下文窗口。李开复提到，由于GPU紧...……更多
2023-11-06 12:13:00李开复AI公司首发大模型，阿里云领投 | 36氪独家
...5.0”（以下简称：日日新5.0）采用混合专家架构，推理时上下文窗口可以有效到200K左右。本次更新主要聚集增强了知识、数学、推理及代码能力，全面对标GPT-4Turbo，主流客观评测上达到或超越GPT-4Turbo。在文科能力方面，“日日...……更多
2024-04-25 01:02:00商汤,云端,模型,体系,科技,商汤
更多关于科技的资讯：
B站大会员年卡原价233元，年货节大促直降至108元。即日起～1月23日可叠加10元平台补贴，仅需98元即可入手，相当于一月仅需8块钱
2025-01-18 12:57:00
快科技1月18日消息，多方爆料已经确定，苹果将在今年发布全新机型——iPhone 17 Air。这是一款主打轻薄机身的手机
2025-01-18 13:57:00
临近春节，泸州老窖以回馈消费者为目标，特别推出的“扫码有‘金’喜”活动正在火热进行中，邀请消费者开盖品饮佳酿的同时，以实打实的品质好礼回馈广大C端人群
2025-01-18 09:54:00
快科技1月18日消息，下周一（1月20日）开始，2025年国补中的手机、平板电脑和智能手表/手环产品的补贴将正式开启。这次国补政策有三个种重要数字
2025-01-18 09:57:00
酒店作为服务类行业，提供高质量的服务是其市场竞争之本。冷暖与热水作为酒店向宾客提供的基础服务，能在不同维度反映出一家酒店的品质
2025-01-18 10:00:00
1月17日晚间，完美世界发布2024年度业绩预告。公告显示，公司去年全年实现营业收入55亿元至56亿元，归母净利润亏损11亿元至13亿元
2025-01-18 10:25:00
快科技1月18日消息，近日，一款型号为RMX5090的真我新机通过了3C认证，据推测，该机可能是即将发布的真我GT7。根据入网信息来看
2025-01-18 10:27:00
快科技1月18日消息，据报道，海通国际证券公司近日发布研究报告，提出2025年五大猜想。其中提到，海通国际认为小米将收购蔚来
2025-01-18 10:27:00
快科技1月18日消息，据外媒报道，三星正在研发65W有线快充方案，并计划在Galaxy S26系列手机上首次部署这一技术
2025-01-18 10:57:00
快科技1月18日消息，根据数码爆料博主@智慧皮卡丘透露，华为第三代小折叠Pocket 3系列将会推出2款不同版本的机型
2025-01-18 11:27:00
快科技1月18日消息，本周美国商务部工业和安全局（BIS）发布了两项规则：一项是更新先进计算半导体的出口管制，另一项是将中国（14家）和新加坡（2家）的其他实体列入实体名单
2025-01-18 11:27:00
快科技1月18日消息，据报道，近日，有多名旅客在社交媒体反馈，乘坐国航CA4107CA4115等成都双流飞往北京首都的航班时
2025-01-18 11:27:00
在人工智能技术日新月异的今天，行业间的界限日趋模糊，跨界融合已经成为推动产业升级的重要动力。作为人工智能领域的创新企业
2025-01-18 11:42:00
快科技1月18日消息，机械师推出新款显示器MJQ27F180L，以亲民价格849元为广大消费者带来高品质视觉体验。机械师MJQ27F180L显示器采用27英寸Fast IPS屏幕
2025-01-18 11:57:00
本文转自：人民网-广西频道成果发布会现场。严定超摄1月17日，由广西科技情报研究所主办的2024年广西高新技术企业百强系列榜单暨广西科技情报研究所2024年度成果发布会
2025-01-18 12:47:00