• 我的订阅
  • 头条热搜
infini-attention:谷歌大内存机制
...歌大改Transformer,“无限”长度上下文来了。现在,1B大模型上下文长度可扩展到1M(100万token,大约相当于10部小说),并能完成Passkey检索任务。8B大模型在500K上下文长度的书籍摘要任务中,拿下最新SOTA。这就是谷歌最新提出的...……更多
智源新能申请基于时间序列分析的能源管理系统数据填补方法及架构专利,提高数据完整性和连续性
...方法及架构,本发明通过构建基于朴素贝叶斯算法的填补模型,实现了对能源管理系统中数据缺失段的智能预测与填补,提高了数据完整性和连续性。系统首先通过滑动窗口机制动态管理历史数据与新数据,确保模型在填补过程...……更多
阿里妈妈首提AIGB并实现大规模商业化落地,将正式开源Benchmark
...23 年,阿里妈妈首次提出了 AIGB(AI-Generated Bidding)Bidding 模型训练新范式(参阅:阿里妈妈生成式出价模型(AIGB)详解)。AIGB 是一种全新的迭代范式,把自动出价问题建模为生成式序列决策问题,这是生成式 AI 在该领域的首...……更多
AI蛋白质折叠:在生命宇宙中漫游,远眺生物经济的流光
...对预测,要所有对一起预测,并又一次率先开发出端到端模型。相关成果于2019年8月在美国国家科学院院刊(PNAS)发表,全球范围内首次将AI应用至蛋白质氨基酸(原子)之间的距离预测,进一步提升了蛋白质三维结构预测的精...……更多
英伟达3.4万亿市值稳坐全球第一!苹果12年霸主地位终结
【新智元导读】继6月短暂超越苹果市值后,英伟达再次超越苹果成为全球最高市值公司!再次见证历史!美东时间周二,英伟达股价收涨2.84%,至139.91美元,市值达到3.43万亿美元,超越苹果市值为3.38万亿美元。今年以来,英伟...……更多
梁文锋杨植麟论文撞题,“注意力机制”对大模型意味着什么
2月18日,在大洋彼岸的马斯克秀出最新大模型Grok 3当天,国产AI公司深度求索(DeepSeek)最新一篇论文引发关注,创始人梁文锋在署名之列,并2月16日提交到预印本平台arxiv。这篇论文的核心关于NSA(Natively Sparse Attention,原生稀疏...……更多
揭示Transformer「周期建模」缺陷!北大提出新型神经网络FAN,填补周期性特征建模能力缺陷
【新智元导读】北京大学研究团队开发的FAN模型能有效捕捉数据中的周期性模式,相比传统模型在多项任务中表现出色,同时降低了参数量和计算量,增强了对周期性特征的建模能力,应用潜力广泛。周期性现象广泛存在,深...……更多
图结构转文本序列,大模型直接读懂!图推理性能大涨
大语言模型直接理解复杂图结构的新方法来了:将图(Graph)转换为适合Transformer架构的线性token序列。belike:这种最新图线性化方法,反映了自然语言中局部依赖性和全局对齐性两个关键属性,即:不仅需要保留基于前文上下...……更多
3天把Llama训成Mamba,性能不降,推理更快!
...尔、普林斯顿等机构的研究人员成功将Llama提炼成了Mamba模型,并且设计了新的推测解码算法,加速了模型的推理。先来看一张其乐融融的图片(一眼AI):右边的小羊驼代表Llama,而左边的蛇(Mamba)也是我们的老熟人了。至于...……更多
史无前例!Seq2Seq和GAN同获NeurIPS时间检验奖,Ilya连续2年获奖
...超过27,000次。官方也给出了对应评价:随着当前大型语言模型和基础模型的快速发展,人工智能和应用领域发生了范式转变,该领域受益于这项工作奠定的基础。这是建立编码器-解码器架构的基础工作,启发了后来基于注意力...……更多
生成式AI大模型:有望实现生命从头设计
...源:IC photo□ 王琳琳 刘传波12月8日,谷歌发布最强AI 3个模型。其中,Gemini Nano 是一个更轻便的版本,可以在安卓设备上原生离线运行。谷歌首席执行官将其描述为“人工智能模型的一次巨大飞跃”。而最近发表在国际顶级期刊...……更多
出门问问重磅发布全新2.5D数字人系统 WetaAvatar 4.0
在 AIGC 技术的推动下,视频生成模型领域正迎来创新的高潮。出门问问独立研发的数字人克隆及生成服务,以其领先的创新能力,提供了高度真实与生动的数字体验,吸引了众多用户的目光。目前,这一先进技术已经成功部署...……更多
00后华裔小哥哈佛辍学组团挑战英伟达,史上最快AI芯片Sohu推理性能超H100二十倍!
...呢?很快,你就能知道了。三位哈佛辍学生,挑战AI芯片霸主英伟达成立于2022年,这家35人团队的初创公司Etched,坚信一定能够击败英伟达。到底是什么样的背景,能让三位哈佛辍学生,敢于挑战芯片行业目前最炙手可热的赛道...……更多
只要一张图就能还原绘画过程,这篇论文比Paints-UNDO实现得更早
...前在寻找 2025 fall 博士入学机会。最近,lvmin 带来了最新模型 Paints-UNDO。这款 AI 生成工具可以根据图片还原整个绘画过程,整个 AIGC 社区都为之震撼。Paints-UNDO 的演示 demo。早在 1 个月前,NUS,SJTU,Tiamat 等机构联合已经发布……更多
国产大模型首发中文逻辑推理,「天工大模型4.0」o1版来了
...迟没有推出。AI 社区尤其是国内大模型公司正在向 o1 的霸主地位发起冲击,并开始在一些权威评测中取得领先。今天,国内首款具备中文逻辑推理能力的 o1 模型来了,它便是由昆仑万维推出的「天工大模型 4.0」 o1 版(英文名...……更多
1890美元,就能从头训练一个还不错的12亿参数扩散模型
...只用1890美元、3700 万张图像,就能训练一个还不错的扩散模型。现阶段,视觉生成模型擅长创建逼真的视觉内容,然而从头开始训练这些模型的成本和工作量仍然很高。比如 Stable Diffusion 2.1 花费了 200000 个 A100 GPU 小时。即使研...……更多
阿里巴巴公布图生视频专利
...本发明实施例将包含目标对象的源图像输入第一视频生成模型得到素材视频,根据素材视频确定帧间变换矩阵序列,然后从源图像中得到目标对象对应的对象掩码图像,将帧间变换矩阵序列应用于对象掩码图像可得到多张掩码图...……更多
出门问问入选「中国AI大模型平台排行榜TOP10」
5月21日,AI大模型工场发布「中国AI大模型平台排行榜」。出门问问凭借在开放进度、模型能力和商业化进度的优异表现,成功入选TOP10。出门问问是一家以生成式AI与语音交互技术为核心业务的AI企业,拥有全栈式语音交互能力...……更多
全球首个百亿级人类基因组基础模型Genos发布!
...实验室联合发布了全球首个百亿参数人类基因组通用基础模型——Genos。这一针对人类基因组深度优化的基因组基础模型,可支持高达百万碱基对的超长上下文分析,并实现单碱基分辨率的精准识别。Genos的推出标志着基因组研...……更多
腾讯推出 Hunyuan-Large 开源大模型
IT之家11月5日消息,腾讯今日宣布推出Hunyuan-Large大模型,官方表示这是目前业界已经开源的基于Transformer的最大MoE模型,拥有3890亿总参数(389B)和520亿激活参数(52B)。腾讯今日在HuggingFace开源了Hunyuan-A52B-Pretrain、Hun……更多
...蛋白质功能、组装“理想型”蛋白质时,洪亮团队的AI大模型“启明星”已构建出亿级蛋白质的“功能图谱”,能够精准、高效地设计出耐热、耐碱、耐酸等“超能”蛋白质,满足“定制”蛋白质的需求。蛋白质是生命活动的物...……更多
大模型的未来,快手在自己身上找答案
...检票口久违的出现了许多黄牛,这一切都意味着国内对大模型的关注从 2023 年小圈子里的迅速升温,到现在的白热。所有人都在想尽办法靠近大模型,所有公司都在寻找一种对大模型来说合适的描述方式,但从目前来看,大多都...……更多
仅用4块GPU、不到3天训练出开源版GPT-4o,这是国内团队最新研究
...4o 的平均音频响应延迟 320ms。以 ChatGPT 为代表的大型语言模型(LLM)已成为强大的通用任务解决器,但大多数 LLM 仅支持基于文本的交互,这限制了它们在不适合文本输入输出的场景中的应用。GPT-4o 的出现使得通过语音与 LLM 进...……更多
HuggingFace工程师亲授:如何在Transformer中实现最好的位置编码
...个有效的简单系统演化而来的。——John Gall在 Transformer 模型中,位置编码(Positional Encoding) 被用来表示输入序列中的单词位置。与隐式包含顺序信息的 RNN 和 CNN 不同,Transformer 的架构中没有内置处理序列顺序的机制,需要通...……更多
谷歌 VS OpenAI:当搜索霸主和屠龙少年迈入同一条河流
...歌通过 Gemini 赶了个晚集,想要再度证明自己在AI时代「霸主候选人」的实力。而OpenAI 和谷歌,一个是经历了「宫斗」后的屠龙少年,另一个则是领先的搜索霸主,在关于谁究竟能成为大模型时代的最终赢家这一问题上,也存在...……更多
广西能源获得发明专利授权:“一种水电调度的多源数据管理方法及系统”
...涉及数据处理技术,包括:预先建立水电调度范围的地形模型;获取与水电调度关联的多个数据源的关联参数,并将获取的多个关联参数在设定的时间间隔内对齐;确定各对齐后的各关联参数与相应基准值之间的偏差,以根据偏...……更多
从线性注意力视角揭秘视觉Mamba,清华、阿里合作提出全新MILA模型
Mamba 是一种具有线性计算复杂度的状态空间模型,它能够以线性计算复杂度实现对输入序列的有效建模,在近几个月受到了广泛的关注。本文给出了一个十分有趣的发现:强大的 Mamba 模型与通常被认为性能不佳的线性注意力有...……更多
Nature重磅研究:AlphaFold绘制病毒「族谱」,揭开身世之谜
...,Nature上最近刊登的一篇论文又解锁了AlphaFold这类生物大模型的新用途——揭示生物的亲缘关系和进化史。今年7月,被Meta解散的ESMFold团队成功另起炉灶,,打出的slogan正是「用语言模型模拟5亿年进化。」论文地址:https://evolut...……更多
非Transformer架构站起来了!首个纯无注意力大模型,超越Llama 3.1
Mamba 架构的大模型又一次向 Transformer 发起了挑战。Mamba 架构模型这次终于要「站」起来了?自 2023 年 12 月首次推出以来,Mamba 便成为了 Transformer 的强有力竞争对手。此后,采用 Mamba 架构的模型不断出现,比如 Mistral 发布的首...……更多
大模型时代下的机器人应用:我们离具身智能还有多远?| 新程序员
...的开发者》,完整专题可在小程序中立享阅读。作者 | 甘一鸣责编 | 唐小引出品 | 《新程序员》编辑部在大模型以其超前的文本输出、逻辑推理能力出现在人们面前时,“具身智能”这一概念又一次把通用人工智能的可能性推到...……更多
更多关于科技的资讯:
11月17日从中北高新区获悉,山西中北测控科技有限公司自主研制生产的加装测量存储系统圆满完成航空航天领域使用场景验证,各项性能指标均达到行业领先水平
2025-11-18 08:20:00
烟台工程职业技术学院成功入选国家级“IITC工信人才AI实训云平台”首批应用院校
鲁网11月18日讯近日,工业和信息化部人才交流中心公布了“IITC工信人才AI实训云平台”首批应用院校名单,烟台工程职业技术学院凭借在数字化基础设施与产教融合方面的深厚积淀
2025-11-18 15:49:00
OPPO Reno15 系列正式发布,潮流实况玩法“超出圈”
2025年11月17日,成都——OPPO正式发布全新一代Reno15系列手机。作为潮流与实况照片引领者,Reno15系列行业首发全息光刻工艺
2025-11-18 15:54:00
中国工程院院士邬贺铨、郑纬民点赞阿里千问APP:坚持走专业严谨的路线 期待中国AI走向世界舞台中心
11月18日消息,阿里巴巴千问APP近日开启公测,接入全球性能第一的开源模型Qwen3并免费开放。两位中国工程院院士就此分别接受了媒体采访
2025-11-18 16:57:00
摘要:数字化浪潮为以“身体体悟”为核心的太极拳传承带来了范式性变革。本研究采用质性研究方法,以“虚”与“实”这一对源自太极拳本身的核心哲学概念为理论透镜
2025-11-18 17:40:00
【宅男财经|专家面对面】据央视财经综合多家外媒报道,美国苹果公司首席执行官蒂姆·库克有可能最早于明年卸任,现任公司硬件工程高级副总裁特努斯被普遍视为最有可能的继任者
2025-11-18 17:48:00
埃尔韦·朗斯兰:杨佴旻,多彩水墨的艺术大师
杨佴旻是一位能够把千年传统与炫目现代性对比共存的画家。作为多彩水墨绘画的领军人物,他将古老技法转化为一种极具现代感的绘画语言
2025-11-18 17:51:00
河北新闻网讯(杨自立、田海颖)近日,廊坊市科技局公布2025年度市级科技企业孵化器认定和众创空间备案名单,廊坊开发区润泽人工智能产业孵化器
2025-11-18 18:43:00
11月18日,记者从尖草坪区了解到,在尖草坪区科技局的“牵线”下,中北大学的专家教授组团走进太原响臻云信息工程有限公司
2025-11-18 19:28:00
破解“AI+智造”人才难题,燕京理工学院这场论坛汇聚产学智慧
河北新闻网讯(杜啸飞)11月7日至8日,燕京理工学院举办第六届智能制造技术发展论坛暨“AI+智造”创新融合与人才培养主题论坛
2025-11-18 18:40:00
2025年“福满榕城 奋勇争先”短视频征集展播——《苍霞变形记丨“人民之城”的“幸福密码”》。
2025-11-18 21:37:00
2025青岛虚拟现实创新大会要来:北航青岛研究院以科创助推产业跃升2.0时代
鲁网11月18日讯一副简约的框架眼镜,镜片后可能隐藏着快速滚动的信息流;一间平平无奇的房间,戴上头显后,就能摇身变为绚丽仙境……当科幻电影中的沉浸式场景逐渐成为现实
2025-11-18 15:45:00
大皖新闻讯 11月18日,记者从合肥市政府新闻办召开的新闻发布会获悉,近年来,合肥市围绕科技创新与产业升级需求,大胆改革科技金融政策机制
2025-11-18 15:44:00
AI赋能千行百业一线故事(十六):数智驱动,唤醒高校“沉睡”的专利
数智驱动,唤醒高校“沉睡”的专利——AI赋能千行百业一线故事(十六)10月24日,邯郸职业技术学院知识产权学院工作人员演示AI+专利转化运用生态服务平台
2025-11-18 08:42:00