• 我的订阅
  • 头条热搜
摆脱Transformer依赖?这家AI初创公司推出国内首个非Attention机制大模型
文 | 苏建勋Transformer是当下爆火的GPT、LLAMA、PaLM等大模型普遍采用的基础架构,凭借强大的自然语言理解能力,Transformer在问世的短短几年内便取代了传统的RNN网络结构,成为自然语言处理领域的主流模型架构。如今,一家创业...……更多
独家对话岩芯数智CEO刘凡平:“百模大战”下,AIGC新玩家如何杀出重围?|钛媒体焦点
...等互联网科技巨头不断涌入,纷纷对标GPT-4升级 AI 通用大模型。而在To B企业端领域,中小大模型领域当前面临头部企业加速融资、市场“内卷”竞争等复杂局面。如今,一家成立仅四个多月的生成式 AI(AIGC,人工智能创造内容...……更多
rockaiyan架构大模型通过备案
...芯数智人工智能科技有限公司(以下简称RockAI)的Yan架构大模型成功通过《生成式人工智能服务管理暂行办法》备案,这是国内首个非Transformer架构大模型通过备案。Yan模型简介Yan架构大模型是国内首个非Transformer架构、非Attention机...……更多
大模型如何赋能千行百业?听听企业怎么说
作为人工智能领域的技术新高地,大模型正以前所未有的速度赋能各行各业。通过其在各领域的广泛应用,可以实现更高效、更智能的服务和决策过程,推动产业持续创新和发展。12月28日,数字中国大模型论坛在上海召开,围...……更多
阳光保险谷伟:公司目标建设领先的混合式大模型平台和应用体系
...经营管理能力。中台构建两大核心能力,聚焦大数据、大模型两大能力建设,支持前端智能化应用创新突破;后台建立统一、高效、安全、稳定的新架构,提升系统架构的先进性、实现共建共享,提升科技效能。最后,做好机制...……更多
梁文锋杨植麟论文撞题,“注意力机制”对大模型意味着什么
2月18日,在大洋彼岸的马斯克秀出最新大模型Grok 3当天,国产AI公司深度求索(DeepSeek)最新一篇论文引发关注,创始人梁文锋在署名之列,并2月16日提交到预印本平台arxiv。这篇论文的核心关于NSA(Natively Sparse Attention,原生稀疏...……更多
哈密发现一处金矿!
...查技术方法组合,基于地质找矿理论,结合“大数据—大模型—大算力”的成矿预测模型,坚持就矿找矿,在深、边部实现突破,取得了系列成果。“按照计划,公司预计2026年进入矿山基建期,2027年可以实现每年开采50万吨矿...……更多
三峡大学新地标,正式落成!
...,三峡大学校长王炎廷向校友代表赠送了水电基石3D打印模型。该模型由水利与环境学院3D打印与智能建造团队牵头设计制作,是对水电基石广场的等比例微缩景观呈现,寄寓着母校的牵挂和期盼,意在为校友留下母校的记忆珍...……更多
被质疑、抄袭、魔改,非主流大模型的诞生之路
...和诋毁的声音,比如让他们拿出证据,证明他们自研的大模型架构RWKV6确实比OpenAI强。但彭博完全不在意这些声音,或许这就是成为另类的代价。——在诸多大模型公司都选择与OpenAI相同的Transformer架构时,彭博用了三年时间走...……更多
火爆全球的AI音频大模型,最新技术细节揭秘
...月19日在Arxiv上分享了Stable Audio Open的研究论文,公开了该模型背后的技术细节。Stable Audio Open是StabilityAI于今年6月推出的开源文本转音频模型,可免费生成长达47秒的样本和音效,还可生成44.1kHz高质量立体声音频,并且能在消费...……更多
马斯克打脸OpenAI!全球最大模型Grok-1开源
...:林志佳马斯克(Elon Musk)真的实现了他的承诺——把大模型Grok-1开源了。钛媒体App获悉,北京时间3月18日早上,“硅谷钢铁侠”、亿万富翁马斯克旗下AI初创公司xAI宣布,其研发的大模型Grok-1正式对外开源开放,用户可直接通...……更多
MiniMax进化论:一群「偏执者」的破浪前行
全球开源前二,来自中国大模型的Aha时刻。如果一个技术用3年时间,从默默无闻到改变世界,我们称其为第N次工业革命;如果这个技术从论文到落地的过程中,头部玩家如走马灯更迭,百亿流量砸下去只听一声响就陷入沉寂,...……更多
Mamba再次挑战霸主Transformer!首个通用Mamba开源大模型一鸣惊人
【新智元导读】TII开源全球第一个通用的大型Mamba架构模型Falcon Mamba 7B,性能与Transformer架构模型相媲美,在多个基准测试上的均分超过了Llama 3.1 8B和Mistral 7B。今天,阿布扎比支持的技术创新研究所(TII) 开源了全球第一个通用的...……更多
非Transformer架构站起来了!首个纯无注意力大模型,超越Llama 3.1
Mamba 架构的大模型又一次向 Transformer 发起了挑战。Mamba 架构模型这次终于要「站」起来了?自 2023 年 12 月首次推出以来,Mamba 便成为了 Transformer 的强有力竞争对手。此后,采用 Mamba 架构的模型不断出现,比如 Mistral 发布的首...……更多
大模型新趋势之MoE:现状、挑战及研究方向
2024年,全球主流企业加快推出MoE大模型,1-5月发布千亿以上大模型均采用MoE优化架构,且数量超过近三年总和。MoE大模型架构凭借平衡大模型训推成本和计算效率等优势,更适合处理大规模数据和复杂任务,已成谷歌、OpenAI、...……更多
挑战Scaling Law,Meta发布移动端350M小模型MobileLLM,性能比肩7B LLaMA-v2
【新智元导读】Scaling Law还没走到尽头,「小模型」逐渐成为科技巨头们的追赶趋势。Meta最近发布的MobileLLM系列,规模甚至降低到了1B以下,两个版本分别只有125M和350M参数,但却实现了比更大规模模型更优的性能。从5月和6月...……更多
前谷歌科学家Yi Tay「LLM演义」系列博客第一弹:BERT为何匿迹江湖?
【新智元导读】前谷歌科学家Yi Tay重磅推出「LLM时代的模型架构」系列博客,首篇博文的话题关于:基于encoder-only架构的BERT是如何被基于encoder-decoder架构的T5所取代的,分析了BERT灭绝的始末以及不同架构模型的优缺点,以史为...……更多
AI大模型行业报告:大模型发展迈入爆发期,开启AI新纪元(附下载)
技术:大模型发展呈现“规模定律”,Transformer为技术基座1.1 大模型“大力出奇迹”的背后:Scaling Law大规模语言模型(Large Language Models,LLM)泛指具有超大规模参数或者经过超大规模数据训练所得到的语言模型。与传统语言模...……更多
OpenAI发布文生视频模型Sora,奥尔特曼选取网友提示词
...凌晨,OpenAI再次扔出一枚深水炸弹,发布了首个文生视频模型Sora。据介绍,Sora可以直接输出长达60秒的视频,并且包含高度细致的背景、复杂的多角度镜头,以及富有情感的多个角色。目前官网上已经更新了48个视频demo,在这...……更多
智源新能申请基于时间序列分析的能源管理系统数据填补方法及架构专利,提高数据完整性和连续性
...方法及架构,本发明通过构建基于朴素贝叶斯算法的填补模型,实现了对能源管理系统中数据缺失段的智能预测与填补,提高了数据完整性和连续性。系统首先通过滑动窗口机制动态管理历史数据与新数据,确保模型在填补过程...……更多
技术驱动金融进化:揭秘 Indira 与 IAS 2.0 战略服务器矩阵背后的智
...击造成系统性错误,实现交易策略的“抗干扰设计”。AI模型矩阵架构:多模型协同演化,实时在线更新Indira的核心在于其多模型协同演化系统,包括深度学习(如LSTM、Transformer)、集成算法(GBM、SVM、随机森林)和强化学习(D...……更多
让OpenAI o1逆天的慢思考,360两月前就做出来了?周鸿祎CoE媲美CoT,应用太前瞻
【新智元导读】o1大火背后,最关键的技术是CoT。模型通过一步一步推理,恰恰是「慢思考」的核心要义。而这一观点,其实这家国内大厂早就率先实现了。OpenAI的理念,居然被国内公司抢先践行了?比起OpenAI,这家公司的idea...……更多
文心大模型赋能千行百业,自主进化
2023年,是人工智能大模型快速发展的一年。伴随ChatGPT的横空出世,各行各业的生产力似乎都将被AI大模型再次点燃。国产大模型的数量快速增长,截至10月,国内已发布238个大模型。尽管围绕AI大模型技术变革之力的讨论层出不...……更多
infini-attention:谷歌大内存机制
...歌大改Transformer,“无限”长度上下文来了。现在,1B大模型上下文长度可扩展到1M(100万token,大约相当于10部小说),并能完成Passkey检索任务。8B大模型在500K上下文长度的书籍摘要任务中,拿下最新SOTA。这就是谷歌最新提出的...……更多
中国最大开源MoE模型,255B参数无条件免费商用,元象发布
元象XVERSE发布中国最大MoE开源模型:XVERSE-MoE-A36B,该模型总参数255B,激活参数36B,达到100B模型性能的「跨级」跃升。同时训练时间减少30%,推理性能提升100%,使每token成本大幅下降。在多个权威评测中,元象MoE效果大幅超越多...……更多
商汤组织架构重组:以生成式AI为核心业务,各生态企业由独...
...心业务,目标是打造行业领先的AI云,实现大装置、基础模型和AI应用的无缝集成,并在CV(计算机视觉)领域打造通用视觉模型、深耕各个应用场景;“X”代表生态企业矩阵,包括智能汽车“绝影”、家庭机器人“元萝卜”、...……更多
Mamba作者新作:将Llama3蒸馏成混合线性 RNN
...功的关键是注意力机制。注意力机制让基于 Transformer 的模型关注与输入序列相关的部分,实现了更好的上下文理解。然而,注意力机制的缺点是计算开销大,会随输入规模而二次增长,Transformer 也因此难以处理非常长的文本。...……更多
科学家为脉冲神经网络引入新架构,为超大模型奠定基础
...计算可以利用脉冲信号来传递信息。前者,让脉冲神经元模型的表达能力在理论上高于基于传统人工神经网络(Artificial Neural Network,ANN)的人工神经元模型;后者,让脉冲神经元具有脉冲驱动的计算特征。当脉冲神经网络运行...……更多
微软Win11中发现国产开源大模型!RWKV官方:没给钱啊?现在赶趟
微软正尝试在Office中集成国产开源大模型RWKV!RWKV官方甚至直接发了个推文表示:RWKV.cpp,现已在全球五亿系统中部署。之所以这么说,是因为他们发现最新版Windows 11系统的Office文件夹中有以rwkv命名的DLL文件,包含GPU、CPU版本...……更多
手机市场深陷泥沼,厂商如何破冰?
...题,在这一关键节点,厂商们亟需新的解题思路。3、大模型被认为是下一突破点,但仍没合适的落地方式。自2023年初大模型成为互联网发展技术趋势的关键词,手机厂商关于大模型的探讨就一直没有停止。从逻辑上讲,手机厂...……更多
更多关于科技的资讯:
小糖乐学以初心筑就行业标杆
2025年12月2日,2025第十一届樱桃大赏颁奖盛典在上海成功举办。盛典现场行业精英齐聚,揭晓了多个重磅奖项。其中,小糖科技集团凭借在银发健康领域的深耕实践与突出行业影响力
2025-12-11 10:21:00
iBox与京东重磅携手,德化白瓷《滴水观音》登陆京东双12
双12消费热潮将至,数字文化领域迎来重磅跨界合作—国内头部文化数字资产生态平台iBox与京东、新诤信集团深度联动,将在京东双12数藏日会场
2025-12-11 10:21:00
大浪淘沙中的掌舵者与坚守者!湖州求是教育集团董事长沈法初的“当下”与“未来”
在多数同龄人安享退休时光的年纪,65岁的湖州求是教育集团董事长沈法初,却选择站在了时代潮流的前沿,以另一种姿态继续他的教育征程——他的个人抖音账号已经吸引了56万粉丝
2025-12-11 10:21:00
鲁网12月11日讯作为国家级专精特新重点“小巨人”企业,青岛镭测创芯科技有限公司由中国海洋大学、中科院合肥物质科学研究院教授专家团队发起成立
2025-12-11 10:28:00
近日,秦皇岛经开区一家外资企业体验到了高效便捷的审批服务。该企业是一家新设外资企业,急于推进业务,因对市场登记流程不熟悉面临起步阶段的挑战
2025-12-11 10:39:00
浙江日报讯 (记者 孙良 共享联盟·绍兴 章鸿昱) 日前,作为绍兴首批获得碳足迹标识认证证书的企业之一,绍兴乾雍纺织有限公司尝到了“绿色通行证”带来的甜头
2025-12-11 09:13:00
“直播+平台+跨境”生态加速“杭州智造”货通全球杭州日报讯 近日,杭州综试区全球跨境电商产业基地在滨江阿里中心正式启动
2025-12-11 06:40:00
杭州具身智能机器人“加速起跑”
与未来共舞从图纸到现实,外骨骼机器人成为人类好帮手。患者使用外骨骼机器人进行康复训练。杭州日报讯 具身智能,正从实验室快速走向产业化
2025-12-11 07:11:00
坚定信心 勇挑大梁·产业新亮点丨河北特色产业集群共享智造故事(五):关键设备共享为宁晋线缆带来什么
关键设备共享为宁晋线缆带来什么——河北特色产业集群共享智造故事(五)11月26日,位于宁晋县的缆芯高导(河北)科技有限公司共享车间
2025-12-10 08:07:00
厦门网讯(厦门日报记者 吴晓菁 通讯员 许佳琦 杨怡婷)昨日,厦门空港元翔货站跨境电商出口区一片忙碌景象,一辆辆满载货物的叉车来回穿梭
2025-12-10 08:38:00
警惕伪装成办公文件的木马病毒窃密 国家安全机关提示
中国网12月10日讯 据国家安全部微信公众号消息,国家安全部发布安全提示文章,“本月考勤公示”“年度放假安排”“高温补贴发放声明”等办公类文件
2025-12-10 08:41:00
清华、维信诺联合开发的pTSF技术破解OLED“不可能三角”,中国显示掌握关键材料主导权
屏幕,作为用户感知数字世界的核心窗口,其进化正迈向关键阶段。随着AMOLED技术加速向笔记本电脑、车载等中大尺寸应用渗透
2025-12-10 11:13:00
智能机器人大赛昌平收官 73支队伍四大赛道沉浸竞技 机器人实战化任务催生真实行业解决方案
本报讯(记者 张月朦)12月8日至9日,2025智能机器人大赛决赛在昌平举办。大赛设制造业类、康复养老类、安全应急类和创新类四大赛道
2025-12-10 14:14:00
研究揭示:人生黄金期在55-60岁,整体能力达顶峰
鲁网12月10日讯人们普遍认为,“年轻即巅峰”。然而,一项发表于国际权威心理学期刊《智力》的最新研究,彻底颠覆了这一传统认知
2025-12-10 16:21:00
鲁网12月10日讯山东移动临沂分公司坚决落实“以人民为中心”发展理念,强化“全心全意为人民服务”的宗旨意识,筑牢高质量发展生命线的服务方针
2025-12-10 16:24:00