• 我的订阅
  • 头条热搜
Mamba再次挑战霸主Transformer!首个通用Mamba开源大模型一鸣惊人
【新智元导读】TII开源全球第一个通用的大型Mamba架构模型Falcon Mamba 7B,性能与Transformer架构模型相媲美,在多个基准测试上的均分超过了Llama 3.1 8B和Mistral 7B。今天,阿布扎比支持的技术创新研究所(TII) 开源了全球第一个通用的...……更多
RNN回归!Bengio新作大道至简与Transformer一较高下
...WKV、Mamba、xLSTM等RNN衍生模型接连出现,欲挑战Transformer之霸主地位。就在近日,又有重量级人物下场——深度学习三巨头之一的Yoshua Bengio,带领团队推出了全新的RNN架构,以大道至简的思想与Transformer一较高下。 论文地址:http...……更多
大模型步入推理Scaling时代,SambaNova如何挑战英伟达的霸主地位
OpenAI o1 的发布,再次给 AI 领域带来了一场地震。o1 能像人类一样「思考」复杂问题,拥有优秀的通用推理能力。在未经专门训练的情况下,o1 能够直接拿下数学奥赛金牌,甚至能在博士级别的科学问答环节上超越人类专家。在...……更多
突破时间序列组合推理难题!南加大发布一站式多步推理框架TS-Reasoner
...】TS-Reasoner是一个创新的多步推理框架,结合了大型语言模型的上下文学习和推理能力,通过程序化多步推理、模块化设计、自定义模块生成和多领域数据集评估,有效提高了复杂时间序列任务的推理能力和准确性。实验结果表...……更多
清华提出时间序列大模型:面向通用时序分析的生成式Transformer
【新智元导读】大模型在语言、图像领域取得了巨大成功,时间序列作为多个行业的重要数据类型,时序领域的大模型构建尚处于起步阶段。近期,清华大学的研究团队基于Transformer在大规模时间序列上进行生成式预训练,获得...……更多
来源:极目新闻11月4日,出门问问自研大模型「序列猴子」正式向全社会开放。即日起,广大用户可登陆基于「序列猴子」的AI写作助手奇妙文,或AI开放平台体验。今年4月,出门问问「序列猴子」开启邀测。「序列猴子」以语...……更多
北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba
...领域中,序列建模是一项至关重要的任务。然而,现有的模型在捕捉长程依赖关系和高效建模序列方面仍面临诸多挑战。因此,北京大学林宙辰、徐鑫提出了一种全新混合序列建模架构 ——MixCon,它为解决这些难题带来了创新...……更多
支持1024帧、准确率近100%,英伟达「LongVILA」开始发力长视频
现在,长上下文视觉语言模型(VLM)有了新的全栈解决方案 ——LongVILA,它集系统、模型训练与数据集开发于一体。现阶段,将模型的多模态理解与长上下文能力相结合是非常重要的,支持更多模态的基础模型可以接受更灵活...……更多
大模型重构生命科学!最大基础模型面世,解锁DNA超长序列
生命科学领域,已经率先进入到基础模型时代!今年,化学诺贝尔奖授予了AlphaFold,AI+Science受到空前的关注。人们惊叹于,仅仅是一个蛋白质结构预测模型,就能释放出如此巨大的行业潜力。就在当下,在第三届中国生物计算...……更多
新视角设计下一代时序基础模型,Salesforce推出Moirai-MoE
...领域正在经历重大转型,从传统的「单一数据集训练单一模型」的模式逐步转向「通用预测基础模型」。目前虽然有不少基础模型已经提出,但如何有效地在高度多样化的时序数据上训练基础模型仍是一个开放问题。近期,来自...……更多
GPT-4o不会数r,被外国小哥原地逼疯! 谷歌论文揭秘Transformer「数不到n」
...Riley Goodside小哥,依然在用「Strawberry里有几个r」折磨大模型们,GPT-4o在无限次PUA后,已经被原地逼疯!相比之下,Claude坚决拒绝PUA,是个大聪明。而谷歌最近的论文也揭示了本质原因:LLM没有足够空间,来存储计数向量。Strawber...……更多
超越Transformer,全面升级!MIT等华人团队发布通用时序TimeMixer++架构,8项任务全面领先
【新智元导读】TimeMixer++是一个创新的时间序列分析模型,通过多尺度和多分辨率的方法在多个任务上超越了现有模型,展示了时间序列分析的新视角,在预测和分类等任务带来了更高的准确性和灵活性。在数据驱动的时代,时...……更多
模拟5亿年自然进化史,全新蛋白质大模型ESM3诞生!前Meta老将力作LeCun转赞
...:乔杨 好困【新智元导读】能抗衡AlphaFold 3的生命科学大模型终于出现了。初创公司Evolutionary Scale AI发布了他们最新的98B参数蛋白质语言模型ESM3。不仅支持序列、结构、功能的all-to-all推理,团队还在实验中发现,它设计的新蛋...……更多
麻省理工学院联合metaai开发streamingllm框架
...研究人员日前开发了一款名为StreamingLLM的框架,为大语言模型可能遇到的RAM与泛化问题提出了一系列解决方案,号称能够“让语言模型处理无限长度的文本内容”。▲图源GitHubStreamingLLM的研究重点,是想解决实现流式语言模型(...……更多
图灵奖得主Yoshua Bengio新作:Were RNNs All We Needed?
自从 Transformer 模型问世以来,试图挑战其在自然语言处理地位的挑战者层出不穷。这次登场的选手,不仅要挑战 Transformer 的地位,还致敬了经典论文的名字。再看这篇论文的作者列表,图灵奖得主、深度学习三巨头之一的 Yoshu...……更多
全球首次!时序大模型突破十亿参数,华人团队发布Time-MoE,预训练数据达3000亿个时间点
...而,构建一个兼具强大性能与高效运算的大规模时序预测模型始终是一个巨大的挑战。此外,高质量的大型公共时间序列数据库的匮乏进一步加剧了这一难题。近日,由来自普林斯顿大学、格里菲斯大学等全球多地的华人国际科...……更多
值得收藏!2023 年,你应该知道的所有机器学习算法~
...今年,我想在去年发表文章的基础上提供各类别中更多的模型。希望提供一个工具和技术的宝库,你可以将其作为书签,这样就可以解决各种数据科学的问题了。说到这里,让我们深入了解以下六种最重要的机器学习算法类型。...……更多
出门问问亮相2024世界人工智能大会,再掀AIGC新审美浪潮
...“AIGC第一股”出门问问(02438.HK)携AIGC艺术展、通用大模型「序列猴子」及其AIGC产品矩阵,包括AI短视频创作平台「元创岛」、AI数字分身「奇妙元」、AI配音助理「魔音工坊」、AI数字员工「奇妙问」等多个AI应用亮相展会,为...……更多
语音克隆达到人类水平,微软全新VALL-E 2模型让DeepFake堪比配音员
【新智元导读】继去年初的第一代VALL-E模型之后,微软最近又上新了VALL-E 2模型,标志着第一个在合成语音稳健性、相似度、自然程度等方面达到人类水平的文本到语音模型。最近,微软发布了零样本的文本到语音(TTS)模型VAL...……更多
...道,日前,研究人员公布了他们使用一种名为蛋白质语言模型的生成式人工智能工具,设计CRISPR基因编辑蛋白质的细节,并证明其中一些系统能够像预期那样工作。今年2月,另一个团队曾宣布,他们已经开发出一种基于微生物...……更多
AI大模型行业报告:大模型发展迈入爆发期,开启AI新纪元(附下载)
技术:大模型发展呈现“规模定律”,Transformer为技术基座1.1 大模型“大力出奇迹”的背后:Scaling Law大规模语言模型(Large Language Models,LLM)泛指具有超大规模参数或者经过超大规模数据训练所得到的语言模型。与传统语言模...……更多
AI也会「刷抖音」!清华领衔发布短视频全模态理解新模型 | ICML 2024
【新智元导读】音视频大语言模型在处理视频内容时,往往未能充分发挥语音的作用。video-SALMONN模型通过三部分创新:音视频编码和时间对齐、多分辨率因果Q-Former、多样性损失函数和混合未配对音视频数据训练。该模型不仅...……更多
上海交大团队研发通用人工智能,解决传统蛋白质工程难题
...而数倍乃至数十倍地减少时间和经济成本。此外,由于该模型具有通用性,对各领域都适用,决定了它将大大加速我国生物制造业、合成生物学、生物医药等领域的发展,帮助我国企业与国际头部公司进行良性互动与竞争。相关...……更多
infini-attention:谷歌大内存机制
...歌大改Transformer,“无限”长度上下文来了。现在,1B大模型上下文长度可扩展到1M(100万token,大约相当于10部小说),并能完成Passkey检索任务。8B大模型在500K上下文长度的书籍摘要任务中,拿下最新SOTA。这就是谷歌最新提出的...……更多
AI蛋白质折叠:在生命宇宙中漫游,远眺生物经济的流光
...对预测,要所有对一起预测,并又一次率先开发出端到端模型。相关成果于2019年8月在美国国家科学院院刊(PNAS)发表,全球范围内首次将AI应用至蛋白质氨基酸(原子)之间的距离预测,进一步提升了蛋白质三维结构预测的精...……更多
英伟达3.4万亿市值稳坐全球第一!苹果12年霸主地位终结
【新智元导读】继6月短暂超越苹果市值后,英伟达再次超越苹果成为全球最高市值公司!再次见证历史!美东时间周二,英伟达股价收涨2.84%,至139.91美元,市值达到3.43万亿美元,超越苹果市值为3.38万亿美元。今年以来,英伟...……更多
3天把Llama训成Mamba,性能不降,推理更快!
...尔、普林斯顿等机构的研究人员成功将Llama提炼成了Mamba模型,并且设计了新的推测解码算法,加速了模型的推理。先来看一张其乐融融的图片(一眼AI):右边的小羊驼代表Llama,而左边的蛇(Mamba)也是我们的老熟人了。至于...……更多
生成式AI大模型:有望实现生命从头设计
...源:IC photo□ 王琳琳 刘传波12月8日,谷歌发布最强AI 3个模型。其中,Gemini Nano 是一个更轻便的版本,可以在安卓设备上原生离线运行。谷歌首席执行官将其描述为“人工智能模型的一次巨大飞跃”。而最近发表在国际顶级期刊...……更多
出门问问重磅发布全新2.5D数字人系统 WetaAvatar 4.0
在 AIGC 技术的推动下,视频生成模型领域正迎来创新的高潮。出门问问独立研发的数字人克隆及生成服务,以其领先的创新能力,提供了高度真实与生动的数字体验,吸引了众多用户的目光。目前,这一先进技术已经成功部署...……更多
00后华裔小哥哈佛辍学组团挑战英伟达,史上最快AI芯片Sohu推理性能超H100二十倍!
...呢?很快,你就能知道了。三位哈佛辍学生,挑战AI芯片霸主英伟达成立于2022年,这家35人团队的初创公司Etched,坚信一定能够击败英伟达。到底是什么样的背景,能让三位哈佛辍学生,敢于挑战芯片行业目前最炙手可热的赛道...……更多
更多关于科技的资讯:
中新经纬12月1日电 (袁媛)11月30日,由北京大学国家发展研究院和中国经济学年会秘书处主办的“第二十四届中国经济学年会”在北京举行
2024-12-01 19:50:00
Intel锐炫B580显卡全球首秀!几乎全白 漂亮
快科技12月1日消息,Intel二代锐炫B系列显卡即将登场,评测样品也开始分发给媒体,FunkyIT就不顾保密协议亮出了他们收到的华擎B580 Steel Legend
2024-12-01 20:05:00
飞行47年后 旅行者1号探测器一度失联!还好通信又恢复了
已经在太空中飞行47年、跑出249亿公里的旅行者1号探测器,近日再次遭遇“劫难”,导致一度通信中断,但经过NASA工程师的不懈努力
2024-12-01 20:35:00
首发49.9元 乔思伯带来FR-606系列ARGB风扇:正反叶可选
快科技12月1日消息,乔思伯推出了FR-606系列ARGB风扇,提供了黑白双色、以及正叶反叶版本,售价为49.9元。FR-606系列ARGB风扇采用了创新的三面一体曲面千层镜技术
2024-12-01 21:05:00
云话山东|临沂华盛中天:“含新量”变“含金量” 每年10余个自主知识产权新品精准投放国际市场
大众网记者 王巧 朱长香 通讯员 王庆龙 临沂报道11月29日,由山东省委外办联合省委宣传部、省委网信办、省农业农村厅组织开展的“云话山东”系列外宣活动第五期之“深化外事服务 助力农企发展”专题活动走进山东华盛中天机械集团股份有限公司
2024-12-01 21:50:00
最新消息显示,小米第二款车型计划于明年2月或3月上市。据说,小米第二款新车的上市节奏将与SU7保持一致。而SU7是在2024年3月28日正式上市的
2024-12-01 21:54:00
荣耀新旗舰即将发布,采用直屏设计
10月和11月两个月份,vivo、OPPO、小米、荣耀、华为等品牌,已陆续发布了新旗舰,其中不少机型创造了销量、销售额新纪录
2024-12-01 21:56:00
iqooneo10系列手机发布,全系标配无网通信技术
iQOONeo10系列手机近日备受瞩目,其强大的配置和新颖的功能使其成为市场关注的焦点。据悉,该系列手机将全系标配3D超声波指纹和无网通信技术
2024-12-01 21:58:00
vivos20全面评测,一款十分优秀的中端机
如果大家在年底想要入手一款好看又好用的拍照利器,那么最新的vivoS20可以了解一下。这款手机相较前代有了大幅升级,除了颜值吸睛和拍照出色这两大亮点外
2024-12-01 21:58:00
锐龙9000X3D加速更容易了!无需离开Windows
技嘉主板为锐龙9000处理器通过了一种X3D Turbo加速模式,有适合锐龙9000X3D缓存型号,但以往只能进入BIOS才能设置
2024-12-01 22:05:00
华为突发公告:即将下架,深表歉意!
11月30日,华为终端有限公司网站发布花瓣邮箱App下架公告,称将于今年12月31日正式切换到电子邮件App,届时将无法再从应用市场下载花瓣邮箱App
2024-12-01 22:17:00
日前,华为Mate品牌盛典在深圳盛大开幕,这场科技界的盛宴也吸引了无数目光。在大会上,华为智能穿戴领域的全新力作——华为WATCHD2惊艳亮相
2024-12-01 16:25:00
华为再次扩大卫星通讯适配范围,所有适配机型全支持自由编辑
如果要问各位在一众华为手机中,最有华为特色的功能是什么,相信不少人都会选择卫星通讯,该功能由华为手机带起来这点没有任何疑问
2024-12-01 16:28:00
腾讯占股51%控股《鸣潮》开发商库洛!仍自主运营类似拳头游戏
快科技12月1日消息,近日,广州库洛科技有限公司(以下简称“库洛游戏”)发生工商变更,英雄游戏旗下两家公司退出股东行列
2024-12-01 16:35:00
强得飞起!华为Mate X6红枫原色影像样张感受下:Mate 60、Pura 70已成牛夫人
快科技12月1日消息,华为Mate 70系列、华为Mate X6这一次拍照方面的看点就是增加了一枚红枫原色摄像头。那红枫原色摄像头有啥好处呢
2024-12-01 16:35:00