• 我的订阅
  • 头条热搜
清华提出时间序列大模型:面向通用时序分析的生成式Transformer
...新智元导读】大模型在语言、图像领域取得了巨大成功,时间序列作为多个行业的重要数据类型,时序领域的大模型构建尚处于起步阶段。近期,清华大学的研究团队基于Transformer在大规模时间序列上进行生成式预训练,获得了...……更多
新视角设计下一代时序基础模型,Salesforce推出Moirai-MoE
... NeurIPS 2024 Workshop on Time Series in the Age of Large Models 接收。时间序列预测是人类理解物理世界变化的重要一环。自去年底以来,时序预测领域正在经历重大转型,从传统的「单一数据集训练单一模型」的模式逐步转向「通用预测基...……更多
只要一张图就能还原绘画过程,这篇论文比Paints-UNDO实现得更早
...,ProcessPainter 通过在合成数据和人类画师绘画视频上训练时序模型,首次实现了让扩散模型生成绘画过程。此外,不同题材、画师的绘画过程差异巨大,风格迥异。然而,目前很少有研究将绘画过程作为研究对象。论文作者在预...……更多
超越Transformer,全面升级!MIT等华人团队发布通用时序TimeMixer++架构,8项任务全面领先
【新智元导读】TimeMixer++是一个创新的时间序列分析模型,通过多尺度和多分辨率的方法在多个任务上超越了现有模型,展示了时间序列分析的新视角,在预测和分类等任务带来了更高的准确性和灵活性。在数据驱动的时代,时...……更多
全球首次!时序大模型突破十亿参数,华人团队发布Time-MoE,预训练数据达3000亿个时间点
...据集,为时序分析提供了丰富的训练资源,为各行各业的时间序列预测任务带来了新的解决方案。在当今以数据为驱动的时代,时序预测已成为众多领域不可或缺的核心组成。然而,构建一个兼具强大性能与高效运算的大规模时...……更多
突破时间序列组合推理难题!南加大发布一站式多步推理框架TS-Reasoner
...、自定义模块生成和多领域数据集评估,有效提高了复杂时间序列任务的推理能力和准确性。实验结果表明,TS-Reasoner在金融决策、能源负载预测和因果关系挖掘等多个任务上,相较于现有方法具有显著的性能优势。随着近年来...……更多
仅用4块GPU、不到3天训练出开源版GPT-4o,这是国内团队最新研究
...式 Transformer,它将 LLM 的输出表示作为输入,并使用连接时序分类(Connectionist Temporal Classification, CTC)来预测与语音响应相对应的离散单元序列。在推理过程中,当 LLM 自回归生成文本响应时,语音解码器同步生成相应的离散单...……更多
2023 CCF国际AIOps挑战赛决赛成功举办
...生成研究》、《Time-LLM:通过重编程大型语言模型进行时间序列预测》、《TimesNet:任务通用的时间序列分析骨干网络》、《SimMTM:时间序列掩码预训练框架》、《KnowLog:基于知识增强的日志预训练语言模型》、《BigLog:面向...……更多
AI首次实时生成视频!尤洋团队新作,网友:这是新纪元
...队成员,总共有4位。尤洋教授想必大家都比较熟悉了,清华计算机系硕士,UC伯克利博士,毕业后加入新加坡国立大学计算机系,担任校长青年教授 (Presidential Young Professor)。2021年7月,在北京中关村创办了“潞晨科技”。作...……更多
AI大模型行业报告:大模型发展迈入爆发期,开启AI新纪元(附下载)
...确地理解、表示文本含义。2)实现并行化计算:RNN作为时序结构,需要依次处理序列中的每个元素,计算速度受到较大限制,而Transformer则可以一次性处理整个序列,大大提高了计算效率。 Transformer组件:Encoder重理解,Decoder重...……更多
Mamba再次挑战霸主Transformer!首个通用Mamba开源大模型一鸣惊人
...sformer的自注意力机制(Self-Attention)让模型可以关注输入序列中的所有位置,并为每个位置分配不同的注意力权重。这使得模型能够更好地处理长距离的依赖关系,也就是说,对于句子中距离较远的单词,模型也能有效地捕获其...……更多
英国ai初创公司wayve公布gaia-1最新进展
...,编码成一个共享的表示形式,进而在模型中实现统一的时序对齐和上下文理解,这种编码方法,让模型能够更好地整合和理解不同类型的输入。▲图源Wayve而GAIA-1的核心,是一个自回归Transformer,能够预测序列中下一组图像token...……更多
模拟5亿年自然进化史,全新蛋白质大模型ESM3诞生!前Meta老将力作LeCun转赞
...AI发布了他们最新的98B参数蛋白质语言模型ESM3。不仅支持序列、结构、功能的all-to-all推理,团队还在实验中发现,它设计的新蛋白质相当于模拟自然界5亿年的进化。继AlphaFold 3更新后,我们又看到了一个生命科学领域的大模型ES...……更多
AI也会「刷抖音」!清华领衔发布短视频全模态理解新模型 | ICML 2024
【新智元导读】音视频大语言模型在处理视频内容时,往往未能充分发挥语音的作用。video-SALMONN模型通过三部分创新:音视频编码和时间对齐、多分辨率因果Q-Former、多样性损失函数和混合未配对音视频数据训练。该模型不仅...……更多
智谱AI发布视频生成大模型,B站参与研发,亦庄提供算力|甲子光年
...模型六小强”中,动作最快的是智谱AI。今天上午,这家清华系大模型独角兽上线视频生成大模型产品“清影”,直接面向所有用户开放,支持文生视频与图生视频。在智谱清言PC或App里输入一段文字或图片后(即Prompt),用户...……更多
零样本即可时空预测!港大、华南理工等发布时空大模型UrbanGPT | KDD 2024
...断流量模式。然而,它在处理具有复杂时空依赖性的数字时间序列数据时,有时会出现预测失误。与此同时,虽然预训练的基线模型在编码时空依赖关系方面表现良好,但它们可能会因为过度适应源数据集而在零样本场景中表现...……更多
北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba
...,欢迎投稿或者联系报道。在自然语言处理、语音识别和时间序列分析等众多领域中,序列建模是一项至关重要的任务。然而,现有的模型在捕捉长程依赖关系和高效建模序列方面仍面临诸多挑战。因此,北京大学林宙辰、徐鑫...……更多
姚期智院士大模型新研究:思维图DoT,用数学理论确保AI逻辑一致
...为设计下一代专门用于推理的AI模型提供了概念框架。 清华叉院姚期智、袁洋领衔这篇论文由清华交叉信息研究院姚期智、袁洋领衔,论文第一作者为张伊凡。张伊凡张伊凡2021年本科毕业于于北京大学元培学院,现为清华大学...……更多
首个可保留情感的音频LLM!Meta重磅开源7B-Spirit LM,一网打尽「音频+文本」多模态任务
...链接:https://huggingface.co/spirit-lm/Meta-spirit-lm将语音和文本序列拼接成一条token流,并使用一个小型的、自动整理(automatically-curated)的语音-文本平行语料库,采用逐词交错的方法进行训练。Spirit LM有两个版本:……更多
史上首个实时AI视频生成技术:DiT通用,速度提升10.6倍
...的是时间步 t 的特征。并行下图 3 为本文方法与原始动态序列并行(Dynamic Sequence Paralle, DSP)之间的比较。当时间注意力得到传播时,则可以避免所有通信。为了进一步提升视频生成速度,本文基于 DSP 来改进序列并行。序列并...……更多
AI蛋白质折叠:在生命宇宙中漫游,远眺生物经济的流光
...业应用中所需要的功能。而在国内,2023年,百图生科与清华大学联合提出了千亿参数的蛋白质语言模型xTrimoPGLM,探索了蛋白质理解和生成这两种类型目标之间的兼容性以及共同优化的可能性,能够对单个蛋白质、细胞中蛋白质...……更多
出门问问重磅发布全新2.5D数字人系统 WetaAvatar 4.0
...人系统——基于多尺度3D模型的WetaAvatar 4.0,通过整合「序列猴子」的强大文案生成能力以及「魔音工坊」的高质量语音合成技术,我们进一步强化了数字人的呈现效果,实现高度仿真的外观,同时还精心打造了生动的表情,媲...……更多
Transformer打破三十年数学猜想!Meta研究者用AI给出反例,算法杀手攻克数学难题
...们训练这个Transformer来生成与初始数据集中的「相似」的序列,方法类似于将一个大型英语句子数据库(即序列中的大多数是单词)给Transformer进行训练,使其能够生成更多的英语句子。在训练的每一个阶段,都可以让Transformer预...……更多
Sora冲击波
...的是静态信息的转换和表达,而文生视频则需要在连续的时间序列中保持场景的一致性、物体的动态关系和光影的变化,这要求模型具备更强的时空建模能力和更高的计算复杂度。因此,文生视频技术的成功对于推动AGI的发展具...……更多
基于DolphinDB的高性能Barra风控模型
...从而更精细地预测和解释中国股票市场的风险。与传统的时间序列回归模型有所不同,当Barra模型中纳入具有时序记忆的变量时,它还可以共享截面回归和时序回归模型的一些优良性质。目前,我们在DolphinDB中完整实现了BarraCNE6...……更多
循环神经网络(RNN):如何处理自然语言?
...)是一种强大的神经网络模型,它能够处理序列数据,如时间序列数据或自然语言。当然传统的RNN同样存在梯度消失和梯度爆炸的问题,这限制了其在处理长序列时的性能,而优化后的长短期记忆(LSTM)和门控循环单元(GRU)...……更多
值得收藏!2023 年,你应该知道的所有机器学习算法~
...习算法类型。解释型算法模式挖掘算法集成算法聚类算法时间序列算法相似度算法解释型算法机器学习面临的一大问题是理解各种模型如何达到最终预测,我们经常知道是“什么”,但很难解释“为什么”。有几种算法可以用来...……更多
面壁智能联合创始人刘知远:AI的第二次智能涌现,是群体智能的涌现 | WISE2023商业之王大会
...生在哪里?以何种形式出现?在11月29日的开场演讲中,清华大学计算机系长聘副教授、面壁智能联合创始人刘知远在题为《大模型驱动的自主智能体和群体智能:迎接智能的第二次涌现》的演讲中给出了答案:AI的第二次智能涌...……更多
1890美元,就能从头训练一个还不错的12亿参数扩散模型
...了降低计算成本,作者利用了 transformer 计算开销与输入序列大小(即每张图像的 patch 数量)的强依赖关系。本文的主要目标是在训练过程中减少 transformer 处理每张图像的有效 patch 数。通过在 transformer 的输入层随机掩蔽(mask)...……更多
大模型重构生命科学!最大基础模型面世,解锁DNA超长序列
...生命语言,而非自然语言,意味着不仅能处理复杂的生物序列,为药物研发、精准医疗等领域助力;还能开启更多的前沿突破,比如在基因进化、合成生物学、设计/创造生命等方面创造价值……这样一个与我们每个人都息息相...……更多
更多关于科技的资讯:
完全隔绝外界网络!科大讯飞AI录音笔S8离线版图赏
快科技12月17日消息,科大讯飞日前推出旗舰新品——“讯飞AI录音笔S8离线版”。现在,这款新品已经来到我们评测室,下面为大家带来图赏
2024-12-17 17:20:00
阿维塔回应新车放弃采用华为平台:假的!
快科技12月17日消息,近日,有媒体报道称阿维塔汽车的下一代产品将基于长安自研的全新SDA 2.0平台研发。新车型将不再使用长安
2024-12-17 17:20:00
曝华为外折叠项目暂停 博主:华为已有三折叠 外折意义不大了
快科技12月17日消息,博主定焦数码爆料,华为外折叠屏项目暂停,毕竟华为已有三折叠屏了,外折再推意义不是很大。回顾华为的折叠屏产品线
2024-12-17 17:20:00
六年设计大换代!iPhone 17 Pro Max渲染图出炉:横向三摄
快科技12月17日消息,综合目前多方爆料,基本可以确定iPhone 17系列有全新的设计方案,是iPhone 11系列以来首次进行背部设计的大换代
2024-12-17 17:20:00
估值超300亿!阿维塔科技完成超110亿元C轮融资
快科技12月17日消息,阿维塔科技,由长安、华为与宁德时代联合打造,已完成超110亿元的C轮融资。此前,阿维塔科技总裁陈卓透露
2024-12-17 17:50:00
新一代AI轻薄设计本!微星尊爵16 AI+ 锐龙版 2024笔记本评测:轻薄之下亦有澎湃
一、前言:AI加持 轻薄本开始迈向实用全能长期以来轻薄本一直都是定位于轻便,为了轻薄牺牲了很多,性能方便只能说能用,用户也逐渐习惯这种情况
2024-12-17 17:50:00
专家谈邹市明儿子注射生长激素:需专业诊治 应慎重
快科技12月17日消息,据报道,最近奥运冠军、拳击运动员邹市明的妻子冉莹颖在社交平台上表示,11岁的二儿子皓皓,身高仅有136
2024-12-17 17:50:00
一汽吉林被曝陷入经营困境:已连续数月停产停薪
快科技12月17日消息,根据媒体报道,一汽吉林汽车有限公司已停产数月。多名员工反映自8月份起公司未发放工资,员工希望一汽集团领导能与他们座谈
2024-12-17 18:20:00
世界上第一款通用微处理器!Intel 8080喜迎50周岁生日
8080,它不是Intel的第一款微处理器,还有两个前辈,但它有着极为特殊的意义:真正开创了微处理器市场,也是微型计算机的起点
2024-12-17 18:20:00
iPhone诈骗频发!中国联通成功开发FaceTime诈骗识别:与苹果联动处置
快科技12月17日消息,今年以来,iPhone手机经常出现FaceTime诈骗的案件。因为FaceTime显示的昵称是用户Apple账户设置的名字
2024-12-17 18:20:00
成都一中学设“学霸就餐区”引争议 学校致歉回应:是月考的奖励
快科技12月17日讯,近日,据国内媒体报道,网传成都“石室成飞中学设置'学霸餐’”引发关注。有网友质疑该校区别对待学生
2024-12-17 18:20:00
打破台积电独霸格局!联电拿下高通芯片先进封装大单
快科技12月17日消息,据媒体报道,联电夺得高通高性能计算(HPC)产品的先进封装大单,预计将应用在AI PC、车用以及AI服务器市场
2024-12-17 18:50:00
男子危险驾驶还拍视频挑衅交警:被罚900记12分
快科技12月17日消息,互联网不是法外之地,做了违法的事情还敢公然挑衅警方,那么下场只有一个。据“央视新闻”报道,近日
2024-12-17 18:50:00
说唱歌手诺米新歌致敬雷军:雷军在街上发传单的励志故事深受激励
快科技12月17日消息,今年4月,说唱歌手诺米一首在社区健身器材上拍摄的《谢天谢帝》火了,诺米因此爆火出圈。洗脑的歌词与魔性的动作迅速火遍网络
2024-12-17 18:50:00
AMD天选内存!七彩虹全球首发高频、低时序DDR5-6400 C28
快科技12月17日消息,七彩虹宣布,全新打造的iGame影系列内存,首次为DDR5-6400频率产品带来了C28的超低时序
2024-12-17 18:50:00