• 我的订阅
  • 头条热搜
清华提出时间序列大模型:面向通用时序分析的生成式Transformer
...新智元导读】大模型在语言、图像领域取得了巨大成功,时间序列作为多个行业的重要数据类型,时序领域的大模型构建尚处于起步阶段。近期,清华大学的研究团队基于Transformer在大规模时间序列上进行生成式预训练,获得了...……更多
只要一张图就能还原绘画过程,这篇论文比Paints-UNDO实现得更早
...,ProcessPainter 通过在合成数据和人类画师绘画视频上训练时序模型,首次实现了让扩散模型生成绘画过程。此外,不同题材、画师的绘画过程差异巨大,风格迥异。然而,目前很少有研究将绘画过程作为研究对象。论文作者在预...……更多
2023 CCF国际AIOps挑战赛决赛成功举办
...生成研究》、《Time-LLM:通过重编程大型语言模型进行时间序列预测》、《TimesNet:任务通用的时间序列分析骨干网络》、《SimMTM:时间序列掩码预训练框架》、《KnowLog:基于知识增强的日志预训练语言模型》、《BigLog:面向...……更多
AI首次实时生成视频!尤洋团队新作,网友:这是新纪元
...队成员,总共有4位。尤洋教授想必大家都比较熟悉了,清华计算机系硕士,UC伯克利博士,毕业后加入新加坡国立大学计算机系,担任校长青年教授 (Presidential Young Professor)。2021年7月,在北京中关村创办了“潞晨科技”。作...……更多
Mamba再次挑战霸主Transformer!首个通用Mamba开源大模型一鸣惊人
...sformer的自注意力机制(Self-Attention)让模型可以关注输入序列中的所有位置,并为每个位置分配不同的注意力权重。这使得模型能够更好地处理长距离的依赖关系,也就是说,对于句子中距离较远的单词,模型也能有效地捕获其...……更多
英国ai初创公司wayve公布gaia-1最新进展
...,编码成一个共享的表示形式,进而在模型中实现统一的时序对齐和上下文理解,这种编码方法,让模型能够更好地整合和理解不同类型的输入。▲图源Wayve而GAIA-1的核心,是一个自回归Transformer,能够预测序列中下一组图像token...……更多
模拟5亿年自然进化史,全新蛋白质大模型ESM3诞生!前Meta老将力作LeCun转赞
...AI发布了他们最新的98B参数蛋白质语言模型ESM3。不仅支持序列、结构、功能的all-to-all推理,团队还在实验中发现,它设计的新蛋白质相当于模拟自然界5亿年的进化。继AlphaFold 3更新后,我们又看到了一个生命科学领域的大模型ES...……更多
AI也会「刷抖音」!清华领衔发布短视频全模态理解新模型 | ICML 2024
【新智元导读】音视频大语言模型在处理视频内容时,往往未能充分发挥语音的作用。video-SALMONN模型通过三部分创新:音视频编码和时间对齐、多分辨率因果Q-Former、多样性损失函数和混合未配对音视频数据训练。该模型不仅...……更多
智谱AI发布视频生成大模型,B站参与研发,亦庄提供算力|甲子光年
...模型六小强”中,动作最快的是智谱AI。今天上午,这家清华系大模型独角兽上线视频生成大模型产品“清影”,直接面向所有用户开放,支持文生视频与图生视频。在智谱清言PC或App里输入一段文字或图片后(即Prompt),用户...……更多
零样本即可时空预测!港大、华南理工等发布时空大模型UrbanGPT | KDD 2024
...断流量模式。然而,它在处理具有复杂时空依赖性的数字时间序列数据时,有时会出现预测失误。与此同时,虽然预训练的基线模型在编码时空依赖关系方面表现良好,但它们可能会因为过度适应源数据集而在零样本场景中表现...……更多
史上首个实时AI视频生成技术:DiT通用,速度提升10.6倍
...的是时间步 t 的特征。并行下图 3 为本文方法与原始动态序列并行(Dynamic Sequence Paralle, DSP)之间的比较。当时间注意力得到传播时,则可以避免所有通信。为了进一步提升视频生成速度,本文基于 DSP 来改进序列并行。序列并...……更多
出门问问重磅发布全新2.5D数字人系统 WetaAvatar 4.0
...人系统——基于多尺度3D模型的WetaAvatar 4.0,通过整合「序列猴子」的强大文案生成能力以及「魔音工坊」的高质量语音合成技术,我们进一步强化了数字人的呈现效果,实现高度仿真的外观,同时还精心打造了生动的表情,媲...……更多
Sora冲击波
...的是静态信息的转换和表达,而文生视频则需要在连续的时间序列中保持场景的一致性、物体的动态关系和光影的变化,这要求模型具备更强的时空建模能力和更高的计算复杂度。因此,文生视频技术的成功对于推动AGI的发展具...……更多
基于DolphinDB的高性能Barra风控模型
...从而更精细地预测和解释中国股票市场的风险。与传统的时间序列回归模型有所不同,当Barra模型中纳入具有时序记忆的变量时,它还可以共享截面回归和时序回归模型的一些优良性质。目前,我们在DolphinDB中完整实现了BarraCNE6...……更多
循环神经网络(RNN):如何处理自然语言?
...)是一种强大的神经网络模型,它能够处理序列数据,如时间序列数据或自然语言。当然传统的RNN同样存在梯度消失和梯度爆炸的问题,这限制了其在处理长序列时的性能,而优化后的长短期记忆(LSTM)和门控循环单元(GRU)...……更多
值得收藏!2023 年,你应该知道的所有机器学习算法~
...习算法类型。解释型算法模式挖掘算法集成算法聚类算法时间序列算法相似度算法解释型算法机器学习面临的一大问题是理解各种模型如何达到最终预测,我们经常知道是“什么”,但很难解释“为什么”。有几种算法可以用来...……更多
面壁智能联合创始人刘知远:AI的第二次智能涌现,是群体智能的涌现 | WISE2023商业之王大会
...生在哪里?以何种形式出现?在11月29日的开场演讲中,清华大学计算机系长聘副教授、面壁智能联合创始人刘知远在题为《大模型驱动的自主智能体和群体智能:迎接智能的第二次涌现》的演讲中给出了答案:AI的第二次智能涌...……更多
1890美元,就能从头训练一个还不错的12亿参数扩散模型
...了降低计算成本,作者利用了 transformer 计算开销与输入序列大小(即每张图像的 patch 数量)的强依赖关系。本文的主要目标是在训练过程中减少 transformer 处理每张图像的有效 patch 数。通过在 transformer 的输入层随机掩蔽(mask)...……更多
行业报告 | 2023年9月全球AIGC行业月报-要闻篇
...解决方案,以提高工作效率和满足不同领域的需求。◎ 清华系AI创业公司聆心智能被智谱AI全资收购清华系AI初创公司聆心智能近日传出被智谱AI全资收购的消息,尽管尚未官方宣布,但有内部消息透露该交易的估值达到数亿人民...……更多
3天把Llama训成Mamba,性能不降,推理更快!
...,速度也要够快才行。 Mamba凭借固定的推理开销,在长序列中的优势明显,但Transformer这边也是有推理加速方案的,比如推测解码。而由于Mamba本身的结构特性,不能直接应用这种方案,所以作者设计了全新的算法,并结合硬件...……更多
...采集器的功能是记录签名过程中的坐标序列、压力序列、时间序列等。数字信号采集器的数据传人计算机后,经过一定的算法处理,判断签名者的身份。通常要对签名数据先进行去预处理,然后再提取特征。预处理步骤包括去噪...……更多
Nature封面:AI训AI 越训越傻
...型中生成数据,团队使用了five-way波束搜索。他们将训练序列设为 64 个token长度;然后对于训练集中的每个token序列,要求模型预测下一个64个token。他们会浏览所有原始训练数据集,并生成一个相同大小的人工数据集。如果模型...……更多
4090单卡可跑,6秒直出电影级画质,智谱版Sora正式开源!
...压缩至潜在空间,然后将潜在空间分割成块并展开成长的序列嵌入z_vision。同时,使用T5将文本输入编码为文本嵌入z_text,然后将z_text和z_vision沿序列维度拼接。拼接后的嵌入被送入专家Transformer块堆栈中处理。最后,反向拼接嵌...……更多
文生视频让自动驾驶看到新方向
...到的数据进行高效压缩。通过其展示视频的三维一致性与时序合理性,我们有理由相信,那庞大的神经网络已经理解了客观世界的一些物理规律,未来仍需深入研究。” 陈颖聪教授表示,虽然Sora目前还不能精确模拟出真实世界...……更多
总说具身智能的数据太贵,鹏城实验室开源百万规模标准化数据集
...记录对应的时间戳,以满足具身智能大模型对感知和控制时序的精确要求。下图展示了 ARIO 数据集的总体设计。图 1. ARIO 数据集总体设计ARIO 数据集,共有 258 个场景序列,321064 个任务,303 万个样例。ARIO 的数据有 3 大来源,一...……更多
Meta、斯坦福大学用生成式AI实现3D空间环境人机交互
...操纵更大尺寸的各种物体,但它们依赖于过去的交互状态序列或物体运动的完整序列,无法单独从初始状态合成物体运动和人体运动。 所以在CHOIS的研究中,团队专注于从语言和初始状态合成涉及更大尺寸的不同对象的逼真交...……更多
非Transformer架构站起来了!首个纯无注意力大模型,超越Llama 3.1
...ba 7B 的亮点:无需增加内存存储,就可以处理任意长度的序列,并且能够在单个 24GB A10 GPU 上运行。目前可以在 Hugging Face 上查看并使用 Falcon Mamba 7B,这个仅用因果解码器的模型采用了新颖的Mamba 状态空间语言模型(State Space Lan……更多
让大模型能听会说,国内机构开源首个端到端语音对话模型Mini-Omni
...hixin.com本文出自启元世界多模态算法组,共同一作是来自清华大学的一年级硕士生谢之非与启元世界多模态负责人吴昌桥,研究兴趣为多模态大模型、LLM Agents 等。本论文上线几天内在 github 上斩获 1000+ 星标。随着多类型大模型...……更多
万兴科技AIGC概念迷雾:60秒文生视频能力遭质疑,开月薪10万招AI人才
...上的文生视频,更多的还是图生视频。如腾讯混元曾联合清华、港科大推出图生视频大模型“Follow Your Click”;阿里智能计算研究所也推出过EMO,也仅支持用照片和音频生成唱歌视频。那么,作为国内第一批宣称拥有60秒AI视频生...……更多
...型,它的训练不是基于词汇,而是基于超过6000万蛋白质序列。它具有多种应用,如预测蛋白质的结构以及从单一序列中预测突变的影响等。 虚拟细胞建模系统也需要大量的数据支持。自2016年以来,Chan Zuckerberg倡议在全球范围...……更多
更多关于科技的资讯:
Mac比Windows PC更安全吗 未必
一直以来,相比Windows平台的PC用户,苹果macOS似乎有一种先天的“安全优势”,很多用户认为Mac比Windows更安全可靠
2025-02-08 22:46:00
“胖一点”好!攒点肉真的能扛病
快科技2月8日消息,微博话题“攒点肉真的能扛病”引发关注。医生就这一话题作出解释,生病时,尤其是禁食期间,体内的脂肪组织可分解代谢产生能量
2025-02-08 22:46:00
雷军驾驶小米YU7参与冬测:表现不错 测试任务圆满完成
快科技2月8日消息,今日晚间,小米创办人雷军发文表示,他驾驶小米YU7参与了冬季高速长途的测试,主要测智能驾驶和续航等项目
2025-02-08 22:46:00
英特尔AMD高通芯片科普:一文带你认清三大厂商笔记本处理器
在今年的CES 2025上,英特尔、AMD以及高通都发布了全新的处理器,持续布局自家的产品线。目前各家在移动端处理器这款都提供了非常丰富的型号尤其是英特尔和AMD
2025-02-08 23:16:00
2024平板电脑市场变天了:小米大增73%
市场调研机构Canalys公布了2024年全球平板电脑市场统计数据。最新数据显示,2024年第四季度全球平板电脑出货量达到3990万台
2025-02-08 17:15:00
软弹耐磨 鸿星尔克凌跃2.0跑鞋110元大促 吊牌299元
天猫【鸿星尔克官方旗舰店】鸿星尔克凌跃 2.0 跑鞋日常售价为 219 元,下单领取 70 元优惠券,首次购买用户叠加 7~10 元首购礼金
2025-02-08 17:15:00
韶音发布OpenFit 2 开放式耳机,开启舒适听音新时代
在2025年初举办的首届ShokzDay交流会上,作为开放式耳机、专业运动耳机赛道推动者的韶音,正式推出了新一代韶音舒适圈OpenFit2
2025-02-08 17:45:00
OPPO Find N5真机出炉:折痕最浅 机身全球最薄
快科技2月8日消息,今天下午,OPPO周意保晒出了Find N5折叠屏真机照。这款折叠屏不仅做到了全球最薄,折痕也是行业最浅
2025-02-08 17:45:00
小米回应春节期间夺手机第一:在不擅长的线下打败友商
快科技2月8日消息,据华尔街见闻援引供应链数据,2025年W5(1.27-2.2)春节期间,小米新机激活量达130万台
2025-02-08 17:45:00
七彩虹笔记本大升级!“虹光AI”智能助手接入满血DeepSeek
快科技2月8日消息,继联想“小天”之后,七彩虹科技升级全新“虹光AI”智能模型助手,正式将满血版DeepSeek R1模型引入
2025-02-08 18:15:00
2025年第一款双潜望旗舰!OPPO Find X8 Ultra 3月登场
快科技2月8日消息,博主数码闲聊站暗示,OPPO Find X8 Ultra会在3月份正式发布。对比上代Find X7 Ultra
2025-02-08 18:15:00
荣耀MagicBook Pro 14配置抢先曝光:酷睿Ultra 200H系列处理器 可流畅运行《黑神话:悟空》
快科技2月8日消息,2025年刚开年,荣耀就给了所有打算换本的同学一个大惊喜。昨晚,荣耀 PC 产品线总经理@朱臣才-荣耀 在微博上放出了新品笔记本荣耀MagicBook Pro 14的一段实测演示视频
2025-02-08 18:15:00
走出去 创未来丨亮晶晶:借数字化之力,破解潍企出海“密码”
大众网记者 杨晓玲 潍坊报道外贸是拉动经济增长的重要引擎,也是联结国内国际双循环的重要枢纽,跨境电商则是城市外贸经济的重要推动力
2025-02-08 18:38:00
胖东来:全村的希望
正月初五,胖东来蛇年营业第一天,不出意外的给其所在的小城——河南许昌,带来了一场市内“春运”。胖东来许昌地区门店每日总客流量超过30万人
2025-02-08 18:45:00
王腾包场请REDMI团队看《哪吒2》:大家都说REDMI和哪吒气质很像
快科技2月8日消息,今天,REDMI王腾包场请团队成员去看电影《哪吒2》。他表示,组织大家一起学习怎么打造优秀的产品,很多视觉效果对我们做设计和视觉都有借鉴意义
2025-02-08 18:45:00