• 我的订阅
  • 头条热搜
infini-attention:谷歌大内存机制
...歌大改Transformer,“无限”长度上下文来了。现在,1B大模型上下文长度可扩展到1M(100万token,大约相当于10部小说),并能完成Passkey检索任务。8B大模型在500K上下文长度的书籍摘要任务中,拿下最新SOTA。这就是谷歌最新提出的...……更多
智源新能申请基于时间序列分析的能源管理系统数据填补方法及架构专利,提高数据完整性和连续性
...方法及架构,本发明通过构建基于朴素贝叶斯算法的填补模型,实现了对能源管理系统中数据缺失段的智能预测与填补,提高了数据完整性和连续性。系统首先通过滑动窗口机制动态管理历史数据与新数据,确保模型在填补过程...……更多
阿里妈妈首提AIGB并实现大规模商业化落地,将正式开源Benchmark
...23 年,阿里妈妈首次提出了 AIGB(AI-Generated Bidding)Bidding 模型训练新范式(参阅:阿里妈妈生成式出价模型(AIGB)详解)。AIGB 是一种全新的迭代范式,把自动出价问题建模为生成式序列决策问题,这是生成式 AI 在该领域的首...……更多
AI蛋白质折叠:在生命宇宙中漫游,远眺生物经济的流光
...对预测,要所有对一起预测,并又一次率先开发出端到端模型。相关成果于2019年8月在美国国家科学院院刊(PNAS)发表,全球范围内首次将AI应用至蛋白质氨基酸(原子)之间的距离预测,进一步提升了蛋白质三维结构预测的精...……更多
英伟达3.4万亿市值稳坐全球第一!苹果12年霸主地位终结
【新智元导读】继6月短暂超越苹果市值后,英伟达再次超越苹果成为全球最高市值公司!再次见证历史!美东时间周二,英伟达股价收涨2.84%,至139.91美元,市值达到3.43万亿美元,超越苹果市值为3.38万亿美元。今年以来,英伟...……更多
梁文锋杨植麟论文撞题,“注意力机制”对大模型意味着什么
2月18日,在大洋彼岸的马斯克秀出最新大模型Grok 3当天,国产AI公司深度求索(DeepSeek)最新一篇论文引发关注,创始人梁文锋在署名之列,并2月16日提交到预印本平台arxiv。这篇论文的核心关于NSA(Natively Sparse Attention,原生稀疏...……更多
揭示Transformer「周期建模」缺陷!北大提出新型神经网络FAN,填补周期性特征建模能力缺陷
【新智元导读】北京大学研究团队开发的FAN模型能有效捕捉数据中的周期性模式,相比传统模型在多项任务中表现出色,同时降低了参数量和计算量,增强了对周期性特征的建模能力,应用潜力广泛。周期性现象广泛存在,深...……更多
图结构转文本序列,大模型直接读懂!图推理性能大涨
大语言模型直接理解复杂图结构的新方法来了:将图(Graph)转换为适合Transformer架构的线性token序列。belike:这种最新图线性化方法,反映了自然语言中局部依赖性和全局对齐性两个关键属性,即:不仅需要保留基于前文上下...……更多
3天把Llama训成Mamba,性能不降,推理更快!
...尔、普林斯顿等机构的研究人员成功将Llama提炼成了Mamba模型,并且设计了新的推测解码算法,加速了模型的推理。先来看一张其乐融融的图片(一眼AI):右边的小羊驼代表Llama,而左边的蛇(Mamba)也是我们的老熟人了。至于...……更多
史无前例!Seq2Seq和GAN同获NeurIPS时间检验奖,Ilya连续2年获奖
...超过27,000次。官方也给出了对应评价:随着当前大型语言模型和基础模型的快速发展,人工智能和应用领域发生了范式转变,该领域受益于这项工作奠定的基础。这是建立编码器-解码器架构的基础工作,启发了后来基于注意力...……更多
生成式AI大模型:有望实现生命从头设计
...源:IC photo□ 王琳琳 刘传波12月8日,谷歌发布最强AI 3个模型。其中,Gemini Nano 是一个更轻便的版本,可以在安卓设备上原生离线运行。谷歌首席执行官将其描述为“人工智能模型的一次巨大飞跃”。而最近发表在国际顶级期刊...……更多
出门问问重磅发布全新2.5D数字人系统 WetaAvatar 4.0
在 AIGC 技术的推动下,视频生成模型领域正迎来创新的高潮。出门问问独立研发的数字人克隆及生成服务,以其领先的创新能力,提供了高度真实与生动的数字体验,吸引了众多用户的目光。目前,这一先进技术已经成功部署...……更多
00后华裔小哥哈佛辍学组团挑战英伟达,史上最快AI芯片Sohu推理性能超H100二十倍!
...呢?很快,你就能知道了。三位哈佛辍学生,挑战AI芯片霸主英伟达成立于2022年,这家35人团队的初创公司Etched,坚信一定能够击败英伟达。到底是什么样的背景,能让三位哈佛辍学生,敢于挑战芯片行业目前最炙手可热的赛道...……更多
只要一张图就能还原绘画过程,这篇论文比Paints-UNDO实现得更早
...前在寻找 2025 fall 博士入学机会。最近,lvmin 带来了最新模型 Paints-UNDO。这款 AI 生成工具可以根据图片还原整个绘画过程,整个 AIGC 社区都为之震撼。Paints-UNDO 的演示 demo。早在 1 个月前,NUS,SJTU,Tiamat 等机构联合已经发布……更多
国产大模型首发中文逻辑推理,「天工大模型4.0」o1版来了
...迟没有推出。AI 社区尤其是国内大模型公司正在向 o1 的霸主地位发起冲击,并开始在一些权威评测中取得领先。今天,国内首款具备中文逻辑推理能力的 o1 模型来了,它便是由昆仑万维推出的「天工大模型 4.0」 o1 版(英文名...……更多
1890美元,就能从头训练一个还不错的12亿参数扩散模型
...只用1890美元、3700 万张图像,就能训练一个还不错的扩散模型。现阶段,视觉生成模型擅长创建逼真的视觉内容,然而从头开始训练这些模型的成本和工作量仍然很高。比如 Stable Diffusion 2.1 花费了 200000 个 A100 GPU 小时。即使研...……更多
阿里巴巴公布图生视频专利
...本发明实施例将包含目标对象的源图像输入第一视频生成模型得到素材视频,根据素材视频确定帧间变换矩阵序列,然后从源图像中得到目标对象对应的对象掩码图像,将帧间变换矩阵序列应用于对象掩码图像可得到多张掩码图...……更多
出门问问入选「中国AI大模型平台排行榜TOP10」
5月21日,AI大模型工场发布「中国AI大模型平台排行榜」。出门问问凭借在开放进度、模型能力和商业化进度的优异表现,成功入选TOP10。出门问问是一家以生成式AI与语音交互技术为核心业务的AI企业,拥有全栈式语音交互能力...……更多
全球首个百亿级人类基因组基础模型Genos发布!
...实验室联合发布了全球首个百亿参数人类基因组通用基础模型——Genos。这一针对人类基因组深度优化的基因组基础模型,可支持高达百万碱基对的超长上下文分析,并实现单碱基分辨率的精准识别。Genos的推出标志着基因组研...……更多
腾讯推出 Hunyuan-Large 开源大模型
IT之家11月5日消息,腾讯今日宣布推出Hunyuan-Large大模型,官方表示这是目前业界已经开源的基于Transformer的最大MoE模型,拥有3890亿总参数(389B)和520亿激活参数(52B)。腾讯今日在HuggingFace开源了Hunyuan-A52B-Pretrain、Hun……更多
...蛋白质功能、组装“理想型”蛋白质时,洪亮团队的AI大模型“启明星”已构建出亿级蛋白质的“功能图谱”,能够精准、高效地设计出耐热、耐碱、耐酸等“超能”蛋白质,满足“定制”蛋白质的需求。蛋白质是生命活动的物...……更多
大模型的未来,快手在自己身上找答案
...检票口久违的出现了许多黄牛,这一切都意味着国内对大模型的关注从 2023 年小圈子里的迅速升温,到现在的白热。所有人都在想尽办法靠近大模型,所有公司都在寻找一种对大模型来说合适的描述方式,但从目前来看,大多都...……更多
仅用4块GPU、不到3天训练出开源版GPT-4o,这是国内团队最新研究
...4o 的平均音频响应延迟 320ms。以 ChatGPT 为代表的大型语言模型(LLM)已成为强大的通用任务解决器,但大多数 LLM 仅支持基于文本的交互,这限制了它们在不适合文本输入输出的场景中的应用。GPT-4o 的出现使得通过语音与 LLM 进...……更多
HuggingFace工程师亲授:如何在Transformer中实现最好的位置编码
...个有效的简单系统演化而来的。——John Gall在 Transformer 模型中,位置编码(Positional Encoding) 被用来表示输入序列中的单词位置。与隐式包含顺序信息的 RNN 和 CNN 不同,Transformer 的架构中没有内置处理序列顺序的机制,需要通...……更多
谷歌 VS OpenAI:当搜索霸主和屠龙少年迈入同一条河流
...歌通过 Gemini 赶了个晚集,想要再度证明自己在AI时代「霸主候选人」的实力。而OpenAI 和谷歌,一个是经历了「宫斗」后的屠龙少年,另一个则是领先的搜索霸主,在关于谁究竟能成为大模型时代的最终赢家这一问题上,也存在...……更多
广西能源获得发明专利授权:“一种水电调度的多源数据管理方法及系统”
...涉及数据处理技术,包括:预先建立水电调度范围的地形模型;获取与水电调度关联的多个数据源的关联参数,并将获取的多个关联参数在设定的时间间隔内对齐;确定各对齐后的各关联参数与相应基准值之间的偏差,以根据偏...……更多
从线性注意力视角揭秘视觉Mamba,清华、阿里合作提出全新MILA模型
Mamba 是一种具有线性计算复杂度的状态空间模型,它能够以线性计算复杂度实现对输入序列的有效建模,在近几个月受到了广泛的关注。本文给出了一个十分有趣的发现:强大的 Mamba 模型与通常被认为性能不佳的线性注意力有...……更多
Nature重磅研究:AlphaFold绘制病毒「族谱」,揭开身世之谜
...,Nature上最近刊登的一篇论文又解锁了AlphaFold这类生物大模型的新用途——揭示生物的亲缘关系和进化史。今年7月,被Meta解散的ESMFold团队成功另起炉灶,,打出的slogan正是「用语言模型模拟5亿年进化。」论文地址:https://evolut...……更多
非Transformer架构站起来了!首个纯无注意力大模型,超越Llama 3.1
Mamba 架构的大模型又一次向 Transformer 发起了挑战。Mamba 架构模型这次终于要「站」起来了?自 2023 年 12 月首次推出以来,Mamba 便成为了 Transformer 的强有力竞争对手。此后,采用 Mamba 架构的模型不断出现,比如 Mistral 发布的首...……更多
大模型时代下的机器人应用:我们离具身智能还有多远?| 新程序员
...的开发者》,完整专题可在小程序中立享阅读。作者 | 甘一鸣责编 | 唐小引出品 | 《新程序员》编辑部在大模型以其超前的文本输出、逻辑推理能力出现在人们面前时,“具身智能”这一概念又一次把通用人工智能的可能性推到...……更多
更多关于科技的资讯:
2025青岛虚拟现实创新大会要来:北航青岛研究院以科创助推产业跃升2.0时代
鲁网11月18日讯一副简约的框架眼镜,镜片后可能隐藏着快速滚动的信息流;一间平平无奇的房间,戴上头显后,就能摇身变为绚丽仙境……当科幻电影中的沉浸式场景逐渐成为现实
2025-11-18 15:45:00
大皖新闻讯 11月18日,记者从合肥市政府新闻办召开的新闻发布会获悉,近年来,合肥市围绕科技创新与产业升级需求,大胆改革科技金融政策机制
2025-11-18 15:44:00
AI赋能千行百业一线故事(十六):数智驱动,唤醒高校“沉睡”的专利
数智驱动,唤醒高校“沉睡”的专利——AI赋能千行百业一线故事(十六)10月24日,邯郸职业技术学院知识产权学院工作人员演示AI+专利转化运用生态服务平台
2025-11-18 08:42:00
市场监管总局11月15日发布《互联网平台反垄断合规指引(征求意见稿)》,向社会公开征求意见。征求意见稿坚持问题导向,针对平台经济领域竞争行为的特点和趋势
2025-11-18 08:44:00
厦门网讯(厦门日报记者 林露虹 通讯员 郭文晨)美资企业安费诺加码投资厦门。近日,位于厦门创新创业园的安费诺(厦门)高速线缆有限公司新工厂正式投产
2025-11-18 09:03:00
“‘一带一路’——我们共同的路”全球故事征集活动启动 扫码阅读手机版
11月18日,由天津市政府新闻办指导,津云新媒体主办的“‘一带一路’——我们共同的路”全球故事征集活动启动。活动以高质量共建“一带一路”八项行动为指引
2025-11-18 09:06:00
中新经纬11月18日电 题:“它走得太像人了”——为什么必须由车企来完成这一步?作者 陈兵 南开大学法学院副院长、教授
2025-11-18 13:00:00
OceanBase发布首款AI数据库seekdb,探索数据库AI范式的跃迁
11月18日,在2025 OceanBase年度发布会上,OceanBase发布并开源了其首款AI数据库OceanBase seekdb(简称seekdb)
2025-11-18 13:21:00
全面满足用户本地生活服务需求,京东外卖App、点评、真榜、七鲜咖啡多箭齐发
11月17日晚,第三场京东品酒会在三亚保利瑰丽酒店举办。活动现场,京东宣布在本地生活领域密集落地一系列举措:推出京东外卖App
2025-11-18 13:21:00
安杰莱科技闪耀高交会:以科技赋能康复公益,斩获科技创新大奖
11月14日至16日,以“科技赋能产业,融合共创未来”为主旨的第二十七届中国国际高新技术成果交易会在深圳隆重举行。作为展现我国对外开放深度与广度的重要平台
2025-11-18 11:48:00
7×24小时自主巡检,杭州萧山机场添智能驱鸟装备
在航空运输业快速发展的今天,机场安全运行始终是行业关注的重点。鸟类撞击飞机的事件虽不常见,但一旦发生,可能对飞机引擎、机身结构造成损害
2025-11-18 10:47:00
“产业炬光灯”聚焦元之道生物科技
“产业炬光灯”聚焦厦门元之道生物科技有限公司。扫码看视频厦门网讯(厦门日报记者 李晓平)小小微生物,蕴藏着改变健康的大能量
2025-11-18 09:03:00
“安徽省电竞产业研究合作基地”聘任10名顾问
大皖新闻讯 2025年11月16日,安徽电竞创新发展大会在合肥举行。汇聚来自政府部门、行业协会、知名企业及高校的众多嘉宾
2025-11-17 09:24:00
为进一步提升网点服务能力与柜员专业素养,夯实业务基础,打造有温度的金融服务,近日,邮储银行唐山市分行组织开展了“星暖燕赵 星星闪耀”星级柜员竞赛活动
2025-11-17 10:07:00
张家口农商银行宣泰支行打破传统服务边界,以“线上服务提质、直播互动破圈、短视频赋能”为抓手,将便捷与温度融入数字金融场景
2025-11-17 10:11:00