• 我的订阅
  • 头条热搜
王小川公布最新大模型,号称全球最长上下文,是GPT-4的14倍|钛媒体焦点
...模型公司“百川智能”宣布,推出Baichuan2-192K大模型,其上下文窗口长度高达192K,能够处理约35万个汉字。百川智能称,Baichuan2-192K是目前全球最长的上下文窗口,也是目前支持长上下文窗口最优秀大模型Claude2(支持100K上下文窗...……更多
击败GPT-4o的开源模型如何炼成?关于Llama 3.1 405B都写在论文里
...之后,Llama 3.1 终于在昨夜由官方正式发布了。Llama 3.1 将上下文长度扩展到了 128K,拥有 8B、70B 和 405B 三个版本,再次以一已之力抬高了大模型赛道的竞争标准。对 AI 社区来说,Llama 3.1 405B 最重要的意义是刷新了开源基础模型的...……更多
Meta祭出三篇最详尽Llama微调指南!千字长文,0基础小白必备
...驱动的LLM文本生成」。RAG于2020年推出,它使用动态提示上下文,通过用户问题检索并注入LLM提示,以引导其使用检索到的内容,而不是预训练的知识。Chat LangChain是由RAG支持的、在Lang Chain文档上流行的Q/A聊天机器人。上下文学...……更多
科技巨头打响语音模型之战!亚马逊用Claude升级Alexa,Cerebras语音模式快如闪电
...增强,与用户进行更自然、更有吸引力的对话,并提供与上下文相关的响应- 个性化推荐:根据用户喜好和历史记录,针对购物、新闻和其他内容进行定制化推荐- 家居自动化:Remarkable Alexa将作为一个更复杂的家居自动化中心,...……更多
林达华谈大模型发展之路:未来会有更高效的模型结构出现
大模型的上下文长度快速增长,超长上下文解锁新应用,但推理计算代价高昂,上下文本身对于信息不会进行压缩,不能直接捕捉其中的深层知识和规律。上海人工智能实验室领军科学家林达华。过去一年,人工智能领域风起...……更多
零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR
...VLM更加偏重于视觉模型,同时能缓解文本attention中存在的上下文依赖问题。 ……更多
MemGPT团队官宣创业,融资1000万美金,硅谷大佬Jeff Dean也投了
...宣创业。由该团队创立的Letta公司,推出了一个同名的AI上下文内存管理平台Letta。最近2年,大语言模型快速发展,但受到上下文窗口长度的限制,导致它在多轮对话和文档分析等任务中的适用性较差。针对这个问题,Letta提出了...……更多
更快、更强、更经济!港大开源大模型RAG系统LightRAG
...题。具体方法是,将每个数据集的所有文本内容视为背景上下文,然后利用大型语言模型(LLM)生成问题。首先,我们让LLM为每个数据集创建五个虚拟的RAG用户,每个用户代表不同的信息需求或兴趣领域。接着,针对每个用户,...……更多
OpenAI举办“AI春晚”;李开复大模型破纪录 | 图灵周报
...的Baichuan2-192K大模型之后,李开复的Yi系列模型再次刷新上下文窗口长度纪录——参数量达340亿的Yi-34B,可支持200K超长上下文窗口,可处理约40万汉字超长文本输入,是目前全球最长的上下文窗口。目前,零一万物估值超过10亿美...……更多
又热闹了!OpenAI的加强版“Her”正式开放,压过了Gemini的“生产级”大升级…
...提示。2. 整体质量改进:尤其在数学、代码生成、长文本上下文和视觉任务上的性能提升显著,包括在MATH、HiddenMath等基准测试中提高约20%,视觉和代码应用提高2%-7%。 3. 速率限制提高:1.5 Flash和1.5 Pro的速率限制分别从每分钟10...……更多
阿里云百炼上线Qwen2.5-Turbo模型,可支持100万超长上下文
...的Qwen2.5-Turbo已在阿里云百炼上线,该模型支持100万超长上下文,相当于100万个英文单词或150万个汉字,在多个长文本评测集上的性能表现超越GPT-4。即日起,所有用户可在阿里云百炼调用Qwen2.5-TurboAPI,百万tokens仅需0.3元。全新...……更多
开源版OpenAI再出「神作」,小模型吊打Llama 3!Ministral系列问世,边缘AI革命开启
...界上最好的边缘模型Ministral 3B和Ministral 8B都支持高达128k上下文(目前在vLLM上为32k)。在知识、常识、推理、函数调用、效率等方面,为低于10B参数模型设立了新标杆。而且,Ministral 8B还有配备了滑动窗口注意机制(sliding-window a...……更多
调研219篇文献,全面了解GenAI在自适应系统中的现状与研究路线图
...系统中的应用潜力概览监控功能:GenAI,特别是 LLMs,在上下文理解和预测方面显著增强了自适应系统的监控能力。LLMs 可将监控收集的非结构化数据进行结构化处理,辅助异常检测;在上下文预测方面,基于 LLM 和扩散模型的时...……更多
Kimi爆火背后:访问量仅次于文心一言和阿里通义,国内外大模型都在卷上下文
...款面向C端的大模型产品。早前,该公司宣布在大模型长上下文窗口技术上取得新的突破,Kimi已支持200万字超长无损上下文,并开启产品内测,该能力在不到半年内提升9倍。市场的火爆,导致Kimi服务器一度瘫痪,无法回复用户...……更多
Mamba再次挑战霸主Transformer!首个通用Mamba开源大模型一鸣惊人
...有效地捕获其关系。这种通过比较文本中每个token来理解上下文的方式,需要更多的计算能力和内存来处理不断增长的上下文窗口。如果资源没有相应扩展,推理速度会变慢,最终无法处理超过某个固定长度的文本。为了解决这...……更多
打脸“AI灭绝伦”!研究反驳:大模型涌现能力不会威胁人类生存
...(ACL)上。他们通过一系列实验验证了 AI 大模型在不同上下文条件下的表现,结果发现:在零样本(zero-shot)的情况下,许多大模型根本无法展现所谓的“涌现能力”,反而表现得相当一般。他们表示,这一发现有助于理解 LLM ...……更多
长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙
...lan【新智元导读】当今的LLM已经号称能够支持百万级别的上下文长度,这对于模型的能力来说,意义重大。但近日的两项独立研究表明,它们可能只是在吹牛,LLM实际上并不能理解这么长的内容。大数字一向吸引眼球。千亿参数...……更多
国产地表最强视频模型震惊歪果仁,官方现场摇人30s直出!视觉模型进入上下文时代
...刚刚诞生!Vidu 1.5一上线,全网网友都震惊了:LLM独有的上下文学习优势,视觉模型居然也有了。来自中国的视频生成模型,再一次震惊了全球大模型圈。生数科技推出的Vidu 1.5,成为世界首个支持多主体一致性的多模态模型!...……更多
必然的命运:AI大模型冲向“免费轮盘赌”
...开发者大会上推出了0.0035美元/千tokens的Gemini Pro1.5,并将上下文长度拓展至200万tokens。国内外价格战的打响无不证明着,要在愈发汹涌的人工智能市场上分得一杯羹,卷是宿命,也是必然。 02 鏖战,谁能破局向C端免费意味着大...……更多
Meta首款多模态Llama 3.2开源!1B羊驼宝宝,跑在手机上了
...,Meta还推出了1B和3B两个轻量级纯文本的版本,可支持128K上下文。别看参数少,1B/3B在总结摘要、指令遵循、重写等任务上,表现非常出色,而且专为Arm处理器做了优化。LeCun激动地表示,「可爱的大羊驼宝宝来了」!Meta首席技...……更多
商汤升级“日日新5.0”大模型,对标GPT-4Turbo
...专家架构,超10TB tokens训练,覆盖大量合成数据,推理时上下文窗口达200K左右。云、端、边全栈大模型产品矩阵中,用于终端设备的“商汤端侧大模型”可满足各类终端用户对大模型技术的应用需求。“日日新5.0”和GPT-4回答趣...……更多
AI“大姨”现场刁难智能客服!直击一群AI打PK赛,真能落地的那种
...个满足现在用户需求的智能客服。能理解用户问题、结合上下文给出解决办法,并且有情商、说人话、能面对各种复杂情景。而且上手门槛很低。 比如参赛选手云蝠智能,他们的主打业务是电话客服,在文本客服方面的积累不...……更多
大模型卷向下半场:价格战之后如何成为真正“刚需”
...性能比肩GPT-4”,并报出每百万token输入1元、输出2元(32K上下文)的低价。大模型价格战,到底在“打”什么?免费的只是基础版。科大讯飞就曾在投资者关系活动上表示,讯飞人工智能开放平台面向全行业提供人工智能能力和...……更多
本周AI不得了!OpenAI的Sora“模拟世界”、Gemini 1.5“10M上下文”、Mistral的开源新贵同日出现
...质量令人着迷。总结:谷歌可能找到了某种新方法,将长上下文的架构理念与他们的 TPU 计算堆栈相结合,并取得了很好的效果。据 Gemini 长语境的负责人之一Pranav Shyam说,这个想法几个月前才刚刚萌芽。如果以小版本(v1.5)而...……更多
支持1024帧、准确率近100%,英伟达「LongVILA」开始发力长视频
现在,长上下文视觉语言模型(VLM)有了新的全栈解决方案 ——LongVILA,它集系统、模型训练与数据集开发于一体。现阶段,将模型的多模态理解与长上下文能力相结合是非常重要的,支持更多模态的基础模型可以接受更灵活...……更多
微软连发3款Phi-3.5模型:128K上下文,首用MoE架构,部分性能超GPT-4o mini
...Phi-3.5,适合在内存和算力受限的环境中运行,均支持128k上下文长度。Phi-3.5-mini-instruct主要面向基础快速推理任务,Phi-3.5-MoE-instruct可胜任复杂推理任务,Phi-3.5-vision-instruct则兼具文本与视觉能力。性能最强大的Phi-3……更多
鄂维南院士领衔新作:大模型不止有RAG、参数存储,还有第3种记忆
...LM 中,显式记忆是继隐式记忆(模型参数)和工作记忆(上下文键值)之后的第三种记忆形式。 具体而言,本文引入了一种新的记忆格式,即显式记忆,其特点是写入成本和读取成本相对较低。如图 1 所示,模型首先将知识库...……更多
GPT-4劲敌,谷歌进入高能+高产模式
...内的大模型而言,只有Minimax采用了MoE架构。二、扩容的上下文窗口意味着什么?虽然Gemini 1.5 Pro是 Gemini 1.5 系列的初代版本,但初代便表现不俗。扩大上下文窗口后的高水平性能是Gemini 1.5 Pro的一大亮点。多模态大模型卷到今日...……更多
全面叫板OpenAI!谷歌发布多模态大模型全家桶:从AI助手到文生视频模型
...将具备多步骤推理能力。来源:谷歌谷歌的Gemini以超长的上下文窗口而出名。在大会上,谷歌重点强调了大模型Gemini 1.5 Pro的多模态和长文本能力,为其推出一系列更新。谷歌将向全球150多个国家地区的Gemini Advanced订阅者提供最...……更多
真香!智谱大模型,有了首个免费的API
...应用的底层逻辑。新一代大语言模型继续保持多模态、长上下文等方面的性能优势,又因为速度和效率的大幅提升获得了更多开发者的青睐。在实际应用场景中,新模型适用于处理高频次、相对简单的任务,禁得起人们的反复调...……更多
更多关于科技的资讯:
微星Claw 8、Claw 7 AI+掌机终于发布!首发酷睿Ultra 200V、32GB大内存
快科技11月29日消息,微星在海外正式发布了第二代游戏掌机,包括两款Claw 8 AI+、Claw 7 AI+,首发配备代号Lunar Lake的酷睿Ultra 200V系列处理器
2024-11-29 22:04:00
国产自研CPU!龙芯3C6000明年Q2发布 对标英特尔至强4314
快科技11月29日消息,龙芯中科最近发布的投资者关系活动记录表显示,公司下一代服务器芯片3C6000目前正处于样片阶段
2024-11-29 22:34:00
武汉大学131周年校庆:雷军视频送祝福 去年曾捐赠13亿
快科技11月29日消息,今日,武汉大学迎来建校131周年校庆日。下午,武汉大学第十届校友论坛在雷军科技楼报告厅举行,武汉大学校友企业家联谊会执行理事长
2024-11-29 22:34:00
半夜口干舌燥 可能不是缺水!这6种情况一定要警惕
相信很多人都曾有过这样的体验:临睡时刻,总觉得口干舌燥,害怕会频繁起夜,但又忍不住想大口喝水。每当此时,一些人不免会担心
2024-11-29 22:34:00
为满足国内市场需求 特斯拉将针对Cybertruck进行碰撞保护改进
快科技11月29日消息,特斯拉正计划对中国市场的Cybertruck进行工程改进,以满足中国行人碰撞保护标准,这可能预示着这款纯电动皮卡即将正式引入中国
2024-11-29 23:34:00
月租2167元起!特斯拉海外全系车型推出“先租后买”政策
快科技11月29日消息,特斯拉在北美市场推出了一项全新的“先租后买”汽车租赁方案,覆盖Model S、3、X、Y以及Cybertruck全系车型
2024-11-30 00:04:00
比国内贵9万!广汽埃安AION V正式登陆泰国市场
快科技11月29日消息,广汽埃安AION V正式登陆泰国市场,售价约合人民币21.8万元。这是AION V首次海外上市
2024-11-30 00:04:00
东南网11月29日讯 随着全球化进程的加速,越来越多的中国企业选择走出国门,探索海外市场。面对复杂多变的国际环境,如何突破文化壁垒
2024-11-30 04:17:00
张婷婷 对外经济贸易大学国际经济贸易学院摘要:伴随着金融科技的快速发展,传统银行业务转型面临前所未有的机遇与挑战。本文在分析传统银行业务转型困境的基础上
2024-11-30 04:40:00
徐燕霞 对外经贸大学国际经济贸易学院摘要:在当前瞬息万变的市场环境下,企业面临着日益激烈的市场竞争压力,如何准确预测采购供应需求
2024-11-30 04:40:00
吴楠 对外经济贸易大学中国金融学院摘要:小微企业是国民经济和社会发展的生力军,在扩大就业、激发创新活力、促进经济发展中发挥着不可替代的作用
2024-11-30 04:40:00
孙常军 魏民 寇军营 乔一民 山东新矿信息技术有限公司近期,新矿集团为解决在广域网组网中专线带宽低、费用高、不稳定的痛点
2024-11-30 04:40:00
沈婕 吴钰 江西师范大学面对国际社会了解中国的迫切需要,我们要主动出击,迎合数字时代发展新需求,强化国际传播效能的技术属性
2024-11-30 04:40:00
本文转自:人民日报本报记者 潘俊强走进中国国际展览中心(顺义馆),在南登录厅入口附近主干道的工商银行展台中心位置,一则工商银行服务中国中车集团有限公司的供应链金融故事
2024-11-30 06:27:00
曾经的欧美游戏一哥:成了今年最大的乐子
转眼间,2024 迎来尾声,亲爱的 Bioware ,请查收你的年度成绩单吧!在前两天公布的 TGA 2024 提名列表中
2024-11-30 07:34:00