• 我的订阅
  • 头条热搜
清华提出时间序列大模型:面向通用时序分析的生成式Transformer
...新智元导读】大模型在语言、图像领域取得了巨大成功,时间序列作为多个行业的重要数据类型,时序领域的大模型构建尚处于起步阶段。近期,清华大学的研究团队基于Transformer在大规模时间序列上进行生成式预训练,获得了...……更多
新视角设计下一代时序基础模型,Salesforce推出Moirai-MoE
... NeurIPS 2024 Workshop on Time Series in the Age of Large Models 接收。时间序列预测是人类理解物理世界变化的重要一环。自去年底以来,时序预测领域正在经历重大转型,从传统的「单一数据集训练单一模型」的模式逐步转向「通用预测基...……更多
只要一张图就能还原绘画过程,这篇论文比Paints-UNDO实现得更早
...,ProcessPainter 通过在合成数据和人类画师绘画视频上训练时序模型,首次实现了让扩散模型生成绘画过程。此外,不同题材、画师的绘画过程差异巨大,风格迥异。然而,目前很少有研究将绘画过程作为研究对象。论文作者在预...……更多
超越Transformer,全面升级!MIT等华人团队发布通用时序TimeMixer++架构,8项任务全面领先
【新智元导读】TimeMixer++是一个创新的时间序列分析模型,通过多尺度和多分辨率的方法在多个任务上超越了现有模型,展示了时间序列分析的新视角,在预测和分类等任务带来了更高的准确性和灵活性。在数据驱动的时代,时...……更多
全球首次!时序大模型突破十亿参数,华人团队发布Time-MoE,预训练数据达3000亿个时间点
...据集,为时序分析提供了丰富的训练资源,为各行各业的时间序列预测任务带来了新的解决方案。在当今以数据为驱动的时代,时序预测已成为众多领域不可或缺的核心组成。然而,构建一个兼具强大性能与高效运算的大规模时...……更多
不是RNN的锅!清华团队深入分析长上下文建模中的状态崩溃,Mamba作者点赞
...新智元导读】RNN模型在长上下文中表现不佳?近日,来自清华的研究团队对此进行了深入的实验分析,结果表明:不是RNN的锅。与Transformer相比,RNN模型的一大优势是应对长序列的能力。比如Mamba,内部状态大小始终保持不变,...……更多
突破时间序列组合推理难题!南加大发布一站式多步推理框架TS-Reasoner
...、自定义模块生成和多领域数据集评估,有效提高了复杂时间序列任务的推理能力和准确性。实验结果表明,TS-Reasoner在金融决策、能源负载预测和因果关系挖掘等多个任务上,相较于现有方法具有显著的性能优势。随着近年来...……更多
阿里妈妈首提AIGB并实现大规模商业化落地,将正式开源Benchmark
...,Transformer 模型主要基于自注意力机制,能够对样本中跨时序和分层信息进行提取和关联,擅长进行自回归处理。而 Diffusion Model 则缓慢地将随机噪声添加到数据中,然后学习逆向扩散过程以从噪声中构造所需的数据样本。加噪...……更多
仅用4块GPU、不到3天训练出开源版GPT-4o,这是国内团队最新研究
...式 Transformer,它将 LLM 的输出表示作为输入,并使用连接时序分类(Connectionist Temporal Classification, CTC)来预测与语音响应相对应的离散单元序列。在推理过程中,当 LLM 自回归生成文本响应时,语音解码器同步生成相应的离散单...……更多
“ChatGPT们”改变新药研发,高质量数据哪里来?
...对公司的改变大吗?郭春龙:15年开始我跟王宏伟教授(清华大学生命学院院长)便开始探讨规划当时的未来,今天我们已经在create future,将life system跟AI计算结合,但生命科学在各个学科和行业中是相对比较晚发展数字化的。...……更多
2023 CCF国际AIOps挑战赛决赛成功举办
...生成研究》、《Time-LLM:通过重编程大型语言模型进行时间序列预测》、《TimesNet:任务通用的时间序列分析骨干网络》、《SimMTM:时间序列掩码预训练框架》、《KnowLog:基于知识增强的日志预训练语言模型》、《BigLog:面向...……更多
AI首次实时生成视频!尤洋团队新作,网友:这是新纪元
...队成员,总共有4位。尤洋教授想必大家都比较熟悉了,清华计算机系硕士,UC伯克利博士,毕业后加入新加坡国立大学计算机系,担任校长青年教授 (Presidential Young Professor)。2021年7月,在北京中关村创办了“潞晨科技”。作...……更多
AI大模型行业报告:大模型发展迈入爆发期,开启AI新纪元(附下载)
...确地理解、表示文本含义。2)实现并行化计算:RNN作为时序结构,需要依次处理序列中的每个元素,计算速度受到较大限制,而Transformer则可以一次性处理整个序列,大大提高了计算效率。 Transformer组件:Encoder重理解,Decoder重...……更多
Mamba再次挑战霸主Transformer!首个通用Mamba开源大模型一鸣惊人
...sformer的自注意力机制(Self-Attention)让模型可以关注输入序列中的所有位置,并为每个位置分配不同的注意力权重。这使得模型能够更好地处理长距离的依赖关系,也就是说,对于句子中距离较远的单词,模型也能有效地捕获其...……更多
史无前例!Seq2Seq和GAN同获NeurIPS时间检验奖,Ilya连续2年获奖
...部分。Seq2SeqSeq2Seq也是于2014年被提出,是一种能够将输入序列映射到输出序列的深度学习方法。传统的深度神经网络(DNN)虽然在很多任务中表现出色,但它们无法直接处理输入和输出长度不定的序列数据。而Seq2Seq模型通过使...……更多
英国ai初创公司wayve公布gaia-1最新进展
...,编码成一个共享的表示形式,进而在模型中实现统一的时序对齐和上下文理解,这种编码方法,让模型能够更好地整合和理解不同类型的输入。▲图源Wayve而GAIA-1的核心,是一个自回归Transformer,能够预测序列中下一组图像token...……更多
模拟5亿年自然进化史,全新蛋白质大模型ESM3诞生!前Meta老将力作LeCun转赞
...AI发布了他们最新的98B参数蛋白质语言模型ESM3。不仅支持序列、结构、功能的all-to-all推理,团队还在实验中发现,它设计的新蛋白质相当于模拟自然界5亿年的进化。继AlphaFold 3更新后,我们又看到了一个生命科学领域的大模型ES...……更多
AI也会「刷抖音」!清华领衔发布短视频全模态理解新模型 | ICML 2024
【新智元导读】音视频大语言模型在处理视频内容时,往往未能充分发挥语音的作用。video-SALMONN模型通过三部分创新:音视频编码和时间对齐、多分辨率因果Q-Former、多样性损失函数和混合未配对音视频数据训练。该模型不仅...……更多
掰开揉碎告诉你,ChatGPT凭啥是人工智能“流量王”
...算法框架是编码器-解码器网络。其中,编码器是将输入序列“编码”为一个输出(向量C),解码器是将该输出(向量C)作为输入“解码”为一个输出序列。在这个框架下可以使用不同的算法来解决不同的任务,它们也被应用...……更多
...调整了模型架构,以预测实现特定结构的蛋白质的氨基酸序列。这一模型学习控制蛋白质形成方式的生化关系,产生超越自然界的新蛋白质,从而实现独特应用,例如,该工具开发的食品涂层可使农产品保鲜时间更长,同时保证...……更多
智谱AI发布视频生成大模型,B站参与研发,亦庄提供算力|甲子光年
...模型六小强”中,动作最快的是智谱AI。今天上午,这家清华系大模型独角兽上线视频生成大模型产品“清影”,直接面向所有用户开放,支持文生视频与图生视频。在智谱清言PC或App里输入一段文字或图片后(即Prompt),用户...……更多
零样本即可时空预测!港大、华南理工等发布时空大模型UrbanGPT | KDD 2024
...断流量模式。然而,它在处理具有复杂时空依赖性的数字时间序列数据时,有时会出现预测失误。与此同时,虽然预训练的基线模型在编码时空依赖关系方面表现良好,但它们可能会因为过度适应源数据集而在零样本场景中表现...……更多
北大林宙辰团队全新混合序列建模架构MixCon:性能远超Mamba
...,欢迎投稿或者联系报道。在自然语言处理、语音识别和时间序列分析等众多领域中,序列建模是一项至关重要的任务。然而,现有的模型在捕捉长程依赖关系和高效建模序列方面仍面临诸多挑战。因此,北京大学林宙辰、徐鑫...……更多
姚期智院士大模型新研究:思维图DoT,用数学理论确保AI逻辑一致
...为设计下一代专门用于推理的AI模型提供了概念框架。 清华叉院姚期智、袁洋领衔这篇论文由清华交叉信息研究院姚期智、袁洋领衔,论文第一作者为张伊凡。张伊凡张伊凡2021年本科毕业于于北京大学元培学院,现为清华大学...……更多
大语言模型,实现智能客服知识库自动扩写功能
...声,以鼓励语言模型产生更加多样的表达,而不是单一的序列。常用的方法是:随机采样:从语言模型的输出分布中随机采样,而不是直接选择概率最高的输出。这会使得最终的输出序列更加随机。噪声注入:在文本生成的中间...……更多
首个可保留情感的音频LLM!Meta重磅开源7B-Spirit LM,一网打尽「音频+文本」多模态任务
...链接:https://huggingface.co/spirit-lm/Meta-spirit-lm将语音和文本序列拼接成一条token流,并使用一个小型的、自动整理(automatically-curated)的语音-文本平行语料库,采用逐词交错的方法进行训练。Spirit LM有两个版本:……更多
史上首个实时AI视频生成技术:DiT通用,速度提升10.6倍
...的是时间步 t 的特征。并行下图 3 为本文方法与原始动态序列并行(Dynamic Sequence Paralle, DSP)之间的比较。当时间注意力得到传播时,则可以避免所有通信。为了进一步提升视频生成速度,本文基于 DSP 来改进序列并行。序列并...……更多
AI蛋白质折叠:在生命宇宙中漫游,远眺生物经济的流光
...业应用中所需要的功能。而在国内,2023年,百图生科与清华大学联合提出了千亿参数的蛋白质语言模型xTrimoPGLM,探索了蛋白质理解和生成这两种类型目标之间的兼容性以及共同优化的可能性,能够对单个蛋白质、细胞中蛋白质...……更多
出门问问内测大模型“序列猴子”,CEO李志飞:我们不融资也能支撑研发
...问创始人兼CEO李志飞宣布推出出门问问版GPT、AI 大模型“序列猴子”,并开启内测探索。同时,出门问问还介绍多款面向创作者的CoPilot(创作助理)产品——AI写作平台“奇妙文”、AI绘画平台“言之画”、AI配音平台“魔音工...……更多
出门问问重磅发布全新2.5D数字人系统 WetaAvatar 4.0
...人系统——基于多尺度3D模型的WetaAvatar 4.0,通过整合「序列猴子」的强大文案生成能力以及「魔音工坊」的高质量语音合成技术,我们进一步强化了数字人的呈现效果,实现高度仿真的外观,同时还精心打造了生动的表情,媲...……更多
更多关于科技的资讯:
【专家观点】中国人民大学新闻学院副院长王润泽:让新闻真实在技术加持下实现多维跃进
3月2日,贵州日报智媒创建启动仪式暨天眼新闻7.0创优版上线仪式在贵州饭店国际会议中心举行。现场,中国人民大学新闻学院副院长王润泽分享了在智媒时代
2025-03-02 22:47:00
这张照片 可以看到不一样的地球
这张照片中冒着绿色光辉的是地球——光辉是由大气气辉、极光,以及多云的太平洋上即将升起的太阳光组成。顶部那个像是黑暗中一道裂缝的部分是银河系——这与地球上的视角基本一样
2025-03-02 23:09:00
全国首个LNG绿色智算中心落址珠海:降低制冷耗能超50%
快科技3月2日消息,据报道,全国首个“LNG冷能综合利用+绿色智算中心”项目(以下简称“LNG绿色智算中心”)在珠海经济技术开发区管委会启动
2025-03-02 23:09:00
济南人工智能创新应用大赛复赛暨颁奖典礼成功举办
3月2日,一场聚焦智慧农业与大数据创新融合的AI赛事——“智算融合 智绘未来”济南人工智能创新应用大赛复赛暨颁奖典礼在数字济南体验馆成功举办
2025-03-02 23:11:00
鸿蒙智行:遭10多万条异常评论诋毁!奖励最高500万元征集线索
快科技3月2日消息,今晚,鸿蒙智能汽车技术生态联盟官方微博“鸿蒙智行发言人”发布了账号的第一条微博,称通过查证和部分网友提供的线索和证据
2025-03-02 23:39:00
助力3250家企业“走出去”,外贸“新春第一展”开幕
本文转自:人民网-上海频道人民网上海3月2日电 (记者龚莎)3月1日,外贸“新春第一展”——第33届华东进出口商品交易会(以下简称“华交会”)在上海新国际博览中心开幕
2025-03-02 19:52:00
167天的奇迹救援!发射失利的两颗中国探月卫星又活了
快科技3月2日消息,一般来说,卫星发射升空后如果遇到故障,想要救援几乎是不可能的,但是中国却创造了一个奇迹!2024年3月13日
2025-03-02 20:09:00
亚马逊首款量子芯片Ocelot发布:量子纠错成本降低90%
继谷歌、微软之后,亚马逊近日也发布了自家的第一代量子计算芯片 Ocelot,首次实现了可扩展的玻色子纠错架构,与目前的量子纠错方式相比成本可以降低超过90%
2025-03-02 20:39:00
生育率实在太低!韩国考虑每周只工作35小时
韩国的生育率一直都是全球最低,2023年韩国的生育率来到了历史最低水平,育龄女性的生育率只有0.72,这意味着每100个育龄女性只会生72个孩子
2025-03-02 20:39:00
比亚迪发布智能车载无人机系统“灵鸢”:全品牌车型可搭
快科技3月2日消息,今日晚间,比亚迪携手大疆在深圳举办智能车载无人机系统发布会,并将该系统正式定名为“灵鸢”。据介绍,“灵鸢”让汽车获得垂向视野
2025-03-02 21:09:00
江南时报讯 记者获悉,江苏首批32家标杆孵化器名单近日出炉。这些标杆孵化器涉及前沿新材料、生物医药、智能制造、绿色技术
2025-03-02 21:14:00
首搭灵鸢无人机系统!豹8无人机版上市:选配价16000元
快科技3月2日消息,比亚迪携手大疆在深圳举办智能车载无人机系统发布会,并将该系统正式定名为“灵鸢”。除已经上市的仰望U8(越野玩家版)外
2025-03-02 21:39:00
全国名字最长的火车站定了!史无前例的7个字
快科技3月2日消息,国铁集团近日正式发文,明确在建的京唐城际始发站正式名称为“北京城市副中心”站,一共7个字(不包含末尾的站字)
2025-03-02 21:39:00
我去试驾了小米SU7 Ultra:它真的想重新定义豪车!
万众期待的 SU7 Ultra 前天上市了, 52.99 万的价格直接把社媒引爆了。雷总之前还说目标一年卖一万辆,结果发布会当晚就完成了
2025-03-02 21:39:00
难以理解!为什么在自然界中 颜色鲜艳代表危险
大自然有自己的规则,鲜艳的颜色通常代表了危险信号,拥有鲜艳颜色的动物,它们很显眼,时刻在提醒潜在捕食者不要招惹自己。那么
2025-03-02 22:09:00