• 我的订阅
  • 头条热搜
清华提出时间序列大模型:面向通用时序分析的生成式Transformer
...新智元导读】大模型在语言、图像领域取得了巨大成功,时间序列作为多个行业的重要数据类型,时序领域的大模型构建尚处于起步阶段。近期,清华大学的研究团队基于Transformer在大规模时间序列上进行生成式预训练,获得了...……更多
只要一张图就能还原绘画过程,这篇论文比Paints-UNDO实现得更早
...,ProcessPainter 通过在合成数据和人类画师绘画视频上训练时序模型,首次实现了让扩散模型生成绘画过程。此外,不同题材、画师的绘画过程差异巨大,风格迥异。然而,目前很少有研究将绘画过程作为研究对象。论文作者在预...……更多
“ChatGPT们”改变新药研发,高质量数据哪里来?
...对公司的改变大吗?郭春龙:15年开始我跟王宏伟教授(清华大学生命学院院长)便开始探讨规划当时的未来,今天我们已经在create future,将life system跟AI计算结合,但生命科学在各个学科和行业中是相对比较晚发展数字化的。...……更多
2023 CCF国际AIOps挑战赛决赛成功举办
...生成研究》、《Time-LLM:通过重编程大型语言模型进行时间序列预测》、《TimesNet:任务通用的时间序列分析骨干网络》、《SimMTM:时间序列掩码预训练框架》、《KnowLog:基于知识增强的日志预训练语言模型》、《BigLog:面向...……更多
AI首次实时生成视频!尤洋团队新作,网友:这是新纪元
...队成员,总共有4位。尤洋教授想必大家都比较熟悉了,清华计算机系硕士,UC伯克利博士,毕业后加入新加坡国立大学计算机系,担任校长青年教授 (Presidential Young Professor)。2021年7月,在北京中关村创办了“潞晨科技”。作...……更多
Mamba再次挑战霸主Transformer!首个通用Mamba开源大模型一鸣惊人
...sformer的自注意力机制(Self-Attention)让模型可以关注输入序列中的所有位置,并为每个位置分配不同的注意力权重。这使得模型能够更好地处理长距离的依赖关系,也就是说,对于句子中距离较远的单词,模型也能有效地捕获其...……更多
英国ai初创公司wayve公布gaia-1最新进展
...,编码成一个共享的表示形式,进而在模型中实现统一的时序对齐和上下文理解,这种编码方法,让模型能够更好地整合和理解不同类型的输入。▲图源Wayve而GAIA-1的核心,是一个自回归Transformer,能够预测序列中下一组图像token...……更多
模拟5亿年自然进化史,全新蛋白质大模型ESM3诞生!前Meta老将力作LeCun转赞
...AI发布了他们最新的98B参数蛋白质语言模型ESM3。不仅支持序列、结构、功能的all-to-all推理,团队还在实验中发现,它设计的新蛋白质相当于模拟自然界5亿年的进化。继AlphaFold 3更新后,我们又看到了一个生命科学领域的大模型ES...……更多
AI也会「刷抖音」!清华领衔发布短视频全模态理解新模型 | ICML 2024
【新智元导读】音视频大语言模型在处理视频内容时,往往未能充分发挥语音的作用。video-SALMONN模型通过三部分创新:音视频编码和时间对齐、多分辨率因果Q-Former、多样性损失函数和混合未配对音视频数据训练。该模型不仅...……更多
智谱AI发布视频生成大模型,B站参与研发,亦庄提供算力|甲子光年
...模型六小强”中,动作最快的是智谱AI。今天上午,这家清华系大模型独角兽上线视频生成大模型产品“清影”,直接面向所有用户开放,支持文生视频与图生视频。在智谱清言PC或App里输入一段文字或图片后(即Prompt),用户...……更多
零样本即可时空预测!港大、华南理工等发布时空大模型UrbanGPT | KDD 2024
...断流量模式。然而,它在处理具有复杂时空依赖性的数字时间序列数据时,有时会出现预测失误。与此同时,虽然预训练的基线模型在编码时空依赖关系方面表现良好,但它们可能会因为过度适应源数据集而在零样本场景中表现...……更多
史上首个实时AI视频生成技术:DiT通用,速度提升10.6倍
...的是时间步 t 的特征。并行下图 3 为本文方法与原始动态序列并行(Dynamic Sequence Paralle, DSP)之间的比较。当时间注意力得到传播时,则可以避免所有通信。为了进一步提升视频生成速度,本文基于 DSP 来改进序列并行。序列并...……更多
出门问问重磅发布全新2.5D数字人系统 WetaAvatar 4.0
...人系统——基于多尺度3D模型的WetaAvatar 4.0,通过整合「序列猴子」的强大文案生成能力以及「魔音工坊」的高质量语音合成技术,我们进一步强化了数字人的呈现效果,实现高度仿真的外观,同时还精心打造了生动的表情,媲...……更多
继 AI 绘画、AI 聊天后,没学过生物的「门外汉」也能「一键生成」蛋白质
...成第四代蛋白质设计新方向蛋白质是一种含有特定氨基酸序列的分子,因其空间结构的不同,决定了生物学功能的差异。因此,当天然蛋白结构功能,不能满足工业或医疗应用需求时,想要得到特定的功能蛋白,就需要对其结构...……更多
Sora冲击波
...的是静态信息的转换和表达,而文生视频则需要在连续的时间序列中保持场景的一致性、物体的动态关系和光影的变化,这要求模型具备更强的时空建模能力和更高的计算复杂度。因此,文生视频技术的成功对于推动AGI的发展具...……更多
基于DolphinDB的高性能Barra风控模型
...从而更精细地预测和解释中国股票市场的风险。与传统的时间序列回归模型有所不同,当Barra模型中纳入具有时序记忆的变量时,它还可以共享截面回归和时序回归模型的一些优良性质。目前,我们在DolphinDB中完整实现了BarraCNE6...……更多
循环神经网络(RNN):如何处理自然语言?
...)是一种强大的神经网络模型,它能够处理序列数据,如时间序列数据或自然语言。当然传统的RNN同样存在梯度消失和梯度爆炸的问题,这限制了其在处理长序列时的性能,而优化后的长短期记忆(LSTM)和门控循环单元(GRU)...……更多
值得收藏!2023 年,你应该知道的所有机器学习算法~
...习算法类型。解释型算法模式挖掘算法集成算法聚类算法时间序列算法相似度算法解释型算法机器学习面临的一大问题是理解各种模型如何达到最终预测,我们经常知道是“什么”,但很难解释“为什么”。有几种算法可以用来...……更多
面壁智能联合创始人刘知远:AI的第二次智能涌现,是群体智能的涌现 | WISE2023商业之王大会
...生在哪里?以何种形式出现?在11月29日的开场演讲中,清华大学计算机系长聘副教授、面壁智能联合创始人刘知远在题为《大模型驱动的自主智能体和群体智能:迎接智能的第二次涌现》的演讲中给出了答案:AI的第二次智能涌...……更多
1890美元,就能从头训练一个还不错的12亿参数扩散模型
...了降低计算成本,作者利用了 transformer 计算开销与输入序列大小(即每张图像的 patch 数量)的强依赖关系。本文的主要目标是在训练过程中减少 transformer 处理每张图像的有效 patch 数。通过在 transformer 的输入层随机掩蔽(mask)...……更多
3天把Llama训成Mamba,性能不降,推理更快!
...,速度也要够快才行。 Mamba凭借固定的推理开销,在长序列中的优势明显,但Transformer这边也是有推理加速方案的,比如推测解码。而由于Mamba本身的结构特性,不能直接应用这种方案,所以作者设计了全新的算法,并结合硬件...……更多
行业报告 | 2023年9月全球AIGC行业月报-要闻篇
...解决方案,以提高工作效率和满足不同领域的需求。◎ 清华系AI创业公司聆心智能被智谱AI全资收购清华系AI初创公司聆心智能近日传出被智谱AI全资收购的消息,尽管尚未官方宣布,但有内部消息透露该交易的估值达到数亿人民...……更多
回看自动驾驶十年,回答毫末智行DriveGPT是怎样炼成的?
...一步增强。但很快,特斯拉从2D的BEV空间快速提升到带有时序特征的信息,使得FSD系统获得帧间连续的感知结果,从而获得了应对视野盲区和遮挡的能力。而到去年,特斯拉又带来了Occupancy Network,使得BEV感知又在高度方向进一...……更多
...采集器的功能是记录签名过程中的坐标序列、压力序列、时间序列等。数字信号采集器的数据传人计算机后,经过一定的算法处理,判断签名者的身份。通常要对签名数据先进行去预处理,然后再提取特征。预处理步骤包括去噪...……更多
Nature封面:AI训AI 越训越傻
...型中生成数据,团队使用了five-way波束搜索。他们将训练序列设为 64 个token长度;然后对于训练集中的每个token序列,要求模型预测下一个64个token。他们会浏览所有原始训练数据集,并生成一个相同大小的人工数据集。如果模型...……更多
4090单卡可跑,6秒直出电影级画质,智谱版Sora正式开源!
...压缩至潜在空间,然后将潜在空间分割成块并展开成长的序列嵌入z_vision。同时,使用T5将文本输入编码为文本嵌入z_text,然后将z_text和z_vision沿序列维度拼接。拼接后的嵌入被送入专家Transformer块堆栈中处理。最后,反向拼接嵌...……更多
文生视频让自动驾驶看到新方向
...到的数据进行高效压缩。通过其展示视频的三维一致性与时序合理性,我们有理由相信,那庞大的神经网络已经理解了客观世界的一些物理规律,未来仍需深入研究。” 陈颖聪教授表示,虽然Sora目前还不能精确模拟出真实世界...……更多
总说具身智能的数据太贵,鹏城实验室开源百万规模标准化数据集
...记录对应的时间戳,以满足具身智能大模型对感知和控制时序的精确要求。下图展示了 ARIO 数据集的总体设计。图 1. ARIO 数据集总体设计ARIO 数据集,共有 258 个场景序列,321064 个任务,303 万个样例。ARIO 的数据有 3 大来源,一...……更多
Meta、斯坦福大学用生成式AI实现3D空间环境人机交互
...操纵更大尺寸的各种物体,但它们依赖于过去的交互状态序列或物体运动的完整序列,无法单独从初始状态合成物体运动和人体运动。 所以在CHOIS的研究中,团队专注于从语言和初始状态合成涉及更大尺寸的不同对象的逼真交...……更多
非Transformer架构站起来了!首个纯无注意力大模型,超越Llama 3.1
...ba 7B 的亮点:无需增加内存存储,就可以处理任意长度的序列,并且能够在单个 24GB A10 GPU 上运行。目前可以在 Hugging Face 上查看并使用 Falcon Mamba 7B,这个仅用因果解码器的模型采用了新颖的Mamba 状态空间语言模型(State Space Lan……更多
更多关于科技的资讯:
宣称防水进水却不保修!律师呼吁对苹果集体诉讼
快科技9月7日消息,据媒体报道,加拿大魁北克的一名律师正在发起一场针对苹果的集体诉讼,指控苹果在iPhone的防水宣传中存在误导性
2024-09-07 15:41:00
IFA 2024盛大开启!涂鸦智能携创新解决方案惊艳亮相
当地时间9月6日至10日,2024年柏林国际电子消费品展览会(IFA2024)于德国柏林盛大开幕。全球化云开发者平台涂鸦智能(NYSE:TUYA
2024-09-07 16:00:00
Intel酷睿Ultra 300系列曝光!5种SKU、集显性能强悍
快科技9月7日消息,作为继Lunar Lake之后的新一代产品,英特尔酷睿Ultra 300系列Panther Lake笔记本处理器信息近日得到曝光
2024-09-07 16:11:00
苹果终于良心一回!机构预计iPhone 16 Pro全系256G起步
快科技9月7日消息,根据TrendForce的最新报告,苹果预计将为iPhone 16 Pro和iPhone 16 Pro Max提供至少256GB的存储空间
2024-09-07 16:41:00
华为三折叠屏突袭:4小时已有超90万人预约!
快科技9月7日消息,今天中午12:08,华为Mate XT非凡大师三折叠屏手机正式开启预定。尽管目前价格尚未公布,但消费者的热情丝毫未减
2024-09-07 17:11:00
美国民间流传甚广的阴谋论:别笑 他们是认真的
9月7日消息,有些时候,当现有知识无法理解一些事物发展的时候,我们往往会去臆想一些可能的真相。久而久之,有些人将自己认真思考过的东西不断的传播了出去之后
2024-09-07 17:11:00
国货美妆品牌崛起之路陕西汐花纯的辉煌历程
在当今这个充满竞争的市场中,国货美妆品牌的崛起已经成为了一种趋势。陕西汐花纯正是这样一个代表,它凭借其卓越的品质和创新精神
2024-09-07 17:51:00
《黑神话:悟空》有望被影视化:游戏剧情引网友争议 对原著乱改
快科技9月7日消息,据国内媒体报道称,在海浪电影周新浪潮论坛中,王中磊谈及《黑神话·悟空》影视化与游戏改编电影的现象。王中磊透露已经和《黑神话·悟空》团队讨论过影视化
2024-09-07 18:41:00
苹果最具性价比的iPad!曝iPad mini 7十月登场
快科技9月7日消息,Mark Gurman爆料,苹果在10月份还将举行一次发布会,正式发布iPad mini 7,这是苹果史上最具性价比的iPad产品
2024-09-07 19:11:00
黄仁勋又抛售NVIDIA股票!3个月套现近45亿
快科技9月7日消息,据媒体报道,根据美国证券交易委员会(SEC)的最新文件,黄仁勋在9月4日至5日期间共售出24万股英伟达普通股
2024-09-07 19:11:00
喜报!康立明生物荣获国家级专精特新“小巨人”企业称号
近日,广州康立明生物科技股份有限公司(下称:康立明生物)荣获国家级专精特新“小巨人”企业称号,这一重磅荣誉的获得,不仅充分展现了康立明生物在生物医药体外诊断试剂领域的强大综合实力
2024-09-07 19:41:00
吉利携手哈尔滨 2025 亚冬会,彰显中国自主车企的实力和担当
2025年,第九届亚洲冬季运动会将在中国哈尔滨隆重举办,这是继2017年札幌亚冬会暌违八年之后,亚洲地区再次迎来的冬季体育盛事
2024-09-07 20:00:00
涌金楼丨全球化再次加速,浙企要抓住这一波
日前,浙江省“十链百场万企”系列对接活动之第三届828企业家大会在杭州召开。来自国内的经济学家江小涓,以及华为、大华、海亮等众多企业齐聚一堂
2024-09-07 20:00:00
9月6日,晋源区残联开展助听器“精准服务科学验配”活动,为听力残疾人提供听力检测,助听器验配等服务。本次活动共筛查听力残疾人14名
2024-09-07 20:01:00
荣耀最强旗舰!荣耀Magic7系列超前预热:主打AI
快科技9月7日消息,在柏林IFA2024上,荣耀预告荣耀Magic7系列将会首发搭载荣耀AI Agent,而且在AI体验上有着比较大的提升
2024-09-07 20:41:00