• 我的订阅
  • 头条热搜
清华提出时间序列大模型:面向通用时序分析的生成式Transformer
...新智元导读】大模型在语言、图像领域取得了巨大成功,时间序列作为多个行业的重要数据类型,时序领域的大模型构建尚处于起步阶段。近期,清华大学的研究团队基于Transformer在大规模时间序列上进行生成式预训练,获得了...……更多
只要一张图就能还原绘画过程,这篇论文比Paints-UNDO实现得更早
...,ProcessPainter 通过在合成数据和人类画师绘画视频上训练时序模型,首次实现了让扩散模型生成绘画过程。此外,不同题材、画师的绘画过程差异巨大,风格迥异。然而,目前很少有研究将绘画过程作为研究对象。论文作者在预...……更多
“ChatGPT们”改变新药研发,高质量数据哪里来?
...对公司的改变大吗?郭春龙:15年开始我跟王宏伟教授(清华大学生命学院院长)便开始探讨规划当时的未来,今天我们已经在create future,将life system跟AI计算结合,但生命科学在各个学科和行业中是相对比较晚发展数字化的。...……更多
2023 CCF国际AIOps挑战赛决赛成功举办
...生成研究》、《Time-LLM:通过重编程大型语言模型进行时间序列预测》、《TimesNet:任务通用的时间序列分析骨干网络》、《SimMTM:时间序列掩码预训练框架》、《KnowLog:基于知识增强的日志预训练语言模型》、《BigLog:面向...……更多
AI首次实时生成视频!尤洋团队新作,网友:这是新纪元
...队成员,总共有4位。尤洋教授想必大家都比较熟悉了,清华计算机系硕士,UC伯克利博士,毕业后加入新加坡国立大学计算机系,担任校长青年教授 (Presidential Young Professor)。2021年7月,在北京中关村创办了“潞晨科技”。作...……更多
Mamba再次挑战霸主Transformer!首个通用Mamba开源大模型一鸣惊人
...sformer的自注意力机制(Self-Attention)让模型可以关注输入序列中的所有位置,并为每个位置分配不同的注意力权重。这使得模型能够更好地处理长距离的依赖关系,也就是说,对于句子中距离较远的单词,模型也能有效地捕获其...……更多
英国ai初创公司wayve公布gaia-1最新进展
...,编码成一个共享的表示形式,进而在模型中实现统一的时序对齐和上下文理解,这种编码方法,让模型能够更好地整合和理解不同类型的输入。▲图源Wayve而GAIA-1的核心,是一个自回归Transformer,能够预测序列中下一组图像token...……更多
模拟5亿年自然进化史,全新蛋白质大模型ESM3诞生!前Meta老将力作LeCun转赞
...AI发布了他们最新的98B参数蛋白质语言模型ESM3。不仅支持序列、结构、功能的all-to-all推理,团队还在实验中发现,它设计的新蛋白质相当于模拟自然界5亿年的进化。继AlphaFold 3更新后,我们又看到了一个生命科学领域的大模型ES...……更多
AI也会「刷抖音」!清华领衔发布短视频全模态理解新模型 | ICML 2024
【新智元导读】音视频大语言模型在处理视频内容时,往往未能充分发挥语音的作用。video-SALMONN模型通过三部分创新:音视频编码和时间对齐、多分辨率因果Q-Former、多样性损失函数和混合未配对音视频数据训练。该模型不仅...……更多
...调整了模型架构,以预测实现特定结构的蛋白质的氨基酸序列。这一模型学习控制蛋白质形成方式的生化关系,产生超越自然界的新蛋白质,从而实现独特应用,例如,该工具开发的食品涂层可使农产品保鲜时间更长,同时保证...……更多
智谱AI发布视频生成大模型,B站参与研发,亦庄提供算力|甲子光年
...模型六小强”中,动作最快的是智谱AI。今天上午,这家清华系大模型独角兽上线视频生成大模型产品“清影”,直接面向所有用户开放,支持文生视频与图生视频。在智谱清言PC或App里输入一段文字或图片后(即Prompt),用户...……更多
零样本即可时空预测!港大、华南理工等发布时空大模型UrbanGPT | KDD 2024
...断流量模式。然而,它在处理具有复杂时空依赖性的数字时间序列数据时,有时会出现预测失误。与此同时,虽然预训练的基线模型在编码时空依赖关系方面表现良好,但它们可能会因为过度适应源数据集而在零样本场景中表现...……更多
大语言模型,实现智能客服知识库自动扩写功能
...声,以鼓励语言模型产生更加多样的表达,而不是单一的序列。常用的方法是:随机采样:从语言模型的输出分布中随机采样,而不是直接选择概率最高的输出。这会使得最终的输出序列更加随机。噪声注入:在文本生成的中间...……更多
史上首个实时AI视频生成技术:DiT通用,速度提升10.6倍
...的是时间步 t 的特征。并行下图 3 为本文方法与原始动态序列并行(Dynamic Sequence Paralle, DSP)之间的比较。当时间注意力得到传播时,则可以避免所有通信。为了进一步提升视频生成速度,本文基于 DSP 来改进序列并行。序列并...……更多
AI蛋白质折叠:在生命宇宙中漫游,远眺生物经济的流光
...业应用中所需要的功能。而在国内,2023年,百图生科与清华大学联合提出了千亿参数的蛋白质语言模型xTrimoPGLM,探索了蛋白质理解和生成这两种类型目标之间的兼容性以及共同优化的可能性,能够对单个蛋白质、细胞中蛋白质...……更多
出门问问内测大模型“序列猴子”,CEO李志飞:我们不融资也能支撑研发
...问创始人兼CEO李志飞宣布推出出门问问版GPT、AI 大模型“序列猴子”,并开启内测探索。同时,出门问问还介绍多款面向创作者的CoPilot(创作助理)产品——AI写作平台“奇妙文”、AI绘画平台“言之画”、AI配音平台“魔音工...……更多
出门问问重磅发布全新2.5D数字人系统 WetaAvatar 4.0
...人系统——基于多尺度3D模型的WetaAvatar 4.0,通过整合「序列猴子」的强大文案生成能力以及「魔音工坊」的高质量语音合成技术,我们进一步强化了数字人的呈现效果,实现高度仿真的外观,同时还精心打造了生动的表情,媲...……更多
继 AI 绘画、AI 聊天后,没学过生物的「门外汉」也能「一键生成」蛋白质
...成第四代蛋白质设计新方向蛋白质是一种含有特定氨基酸序列的分子,因其空间结构的不同,决定了生物学功能的差异。因此,当天然蛋白结构功能,不能满足工业或医疗应用需求时,想要得到特定的功能蛋白,就需要对其结构...……更多
Sora冲击波
...的是静态信息的转换和表达,而文生视频则需要在连续的时间序列中保持场景的一致性、物体的动态关系和光影的变化,这要求模型具备更强的时空建模能力和更高的计算复杂度。因此,文生视频技术的成功对于推动AGI的发展具...……更多
基于DolphinDB的高性能Barra风控模型
...从而更精细地预测和解释中国股票市场的风险。与传统的时间序列回归模型有所不同,当Barra模型中纳入具有时序记忆的变量时,它还可以共享截面回归和时序回归模型的一些优良性质。目前,我们在DolphinDB中完整实现了BarraCNE6...……更多
循环神经网络(RNN):如何处理自然语言?
...)是一种强大的神经网络模型,它能够处理序列数据,如时间序列数据或自然语言。当然传统的RNN同样存在梯度消失和梯度爆炸的问题,这限制了其在处理长序列时的性能,而优化后的长短期记忆(LSTM)和门控循环单元(GRU)...……更多
值得收藏!2023 年,你应该知道的所有机器学习算法~
...习算法类型。解释型算法模式挖掘算法集成算法聚类算法时间序列算法相似度算法解释型算法机器学习面临的一大问题是理解各种模型如何达到最终预测,我们经常知道是“什么”,但很难解释“为什么”。有几种算法可以用来...……更多
面壁智能联合创始人刘知远:AI的第二次智能涌现,是群体智能的涌现 | WISE2023商业之王大会
...生在哪里?以何种形式出现?在11月29日的开场演讲中,清华大学计算机系长聘副教授、面壁智能联合创始人刘知远在题为《大模型驱动的自主智能体和群体智能:迎接智能的第二次涌现》的演讲中给出了答案:AI的第二次智能涌...……更多
1890美元,就能从头训练一个还不错的12亿参数扩散模型
...了降低计算成本,作者利用了 transformer 计算开销与输入序列大小(即每张图像的 patch 数量)的强依赖关系。本文的主要目标是在训练过程中减少 transformer 处理每张图像的有效 patch 数。通过在 transformer 的输入层随机掩蔽(mask)...……更多
3天把Llama训成Mamba,性能不降,推理更快!
...,速度也要够快才行。 Mamba凭借固定的推理开销,在长序列中的优势明显,但Transformer这边也是有推理加速方案的,比如推测解码。而由于Mamba本身的结构特性,不能直接应用这种方案,所以作者设计了全新的算法,并结合硬件...……更多
行业报告 | 2023年9月全球AIGC行业月报-要闻篇
...解决方案,以提高工作效率和满足不同领域的需求。◎ 清华系AI创业公司聆心智能被智谱AI全资收购清华系AI初创公司聆心智能近日传出被智谱AI全资收购的消息,尽管尚未官方宣布,但有内部消息透露该交易的估值达到数亿人民...……更多
回看自动驾驶十年,回答毫末智行DriveGPT是怎样炼成的?
...一步增强。但很快,特斯拉从2D的BEV空间快速提升到带有时序特征的信息,使得FSD系统获得帧间连续的感知结果,从而获得了应对视野盲区和遮挡的能力。而到去年,特斯拉又带来了Occupancy Network,使得BEV感知又在高度方向进一...……更多
...采集器的功能是记录签名过程中的坐标序列、压力序列、时间序列等。数字信号采集器的数据传人计算机后,经过一定的算法处理,判断签名者的身份。通常要对签名数据先进行去预处理,然后再提取特征。预处理步骤包括去噪...……更多
Nature封面:AI训AI 越训越傻
...型中生成数据,团队使用了five-way波束搜索。他们将训练序列设为 64 个token长度;然后对于训练集中的每个token序列,要求模型预测下一个64个token。他们会浏览所有原始训练数据集,并生成一个相同大小的人工数据集。如果模型...……更多
4090单卡可跑,6秒直出电影级画质,智谱版Sora正式开源!
...压缩至潜在空间,然后将潜在空间分割成块并展开成长的序列嵌入z_vision。同时,使用T5将文本输入编码为文本嵌入z_text,然后将z_text和z_vision沿序列维度拼接。拼接后的嵌入被送入专家Transformer块堆栈中处理。最后,反向拼接嵌...……更多
更多关于科技的资讯:
高通供货!iPhone 16 Pro Max基带揭晓
快科技9月22日消息,测试机构techinsights对iPhone 16 Pro Max进行了拆解,发现这款新机使用的是高通骁龙5G基带SDX71M
2024-09-22 00:25:00
冰火两重天!一边黄牛拒收苹果16 Pro 一边加价3万+收不到华为三折
快科技9月22日消息,一边是iPhone 16首卖,另外一边是华为Mate XT的上市,两款重磅新机对决也是备受大家的关注
2024-09-22 00:25:00
三星预计将在本月推出至少三款新产品
据外媒报道,三星似乎无意间透露了GalaxyS24FE的发布日期。三星预计将在本月晚些时候推出至少三款新产品,包括一款GalaxyS24FE智能手机和两款高端平板电脑
2024-09-22 01:10:00
百万网红博主拆解华为三折叠手机
近日,拥有百万粉丝的网红博主@杨长顺维修家对华为最新推出的三折叠手机进行了一次详细的拆解。在拆解过程中,博主边拆边惊叹
2024-09-22 01:11:00
优派lx700-4kultra投影机,家庭娱乐的绝佳选择
马上国庆假就要到了,作为一年一度的长假,很多人选择宅在家。而优派LX700-4KUltra三色激光投影机,作为家庭娱乐的梦幻选择
2024-09-22 01:19:00
metaquest3s头显上架韩国电商,约2336元人民币
9月20日消息,科技媒体MixedNews昨日(9月19日)发布博文,报道称Meta的Quest3S头显上架韩国电商平台
2024-09-22 01:45:00
深蓝l07正式上市,共推出6个版本
9月20日,定位“科技智享中型轿车”的深蓝L07正式上市,共推出6个版本,售价区间为15.19-17.39万元,不仅提供增程和纯电两种动力选择
2024-09-22 02:04:00
海信激光电视亮相青岛
9月19日,2024激光显示技术与产业发展大会在青岛海滨召开。据CNMO了解,海信视像科技总裁李炜在会上发表了题为《十年砺光
2024-09-22 02:06:00
华为watchgt5系列国内开启预售,提供两种尺寸
9月20日,华为官方宣布,华为WATCHGT5系列正式在国内开启预售。此次预售提供了41mm和46mm两种尺寸供消费者选择
2024-09-22 02:12:00
千元档手机vivoy300pro外观设计相当出色
最近vivo全新发布的vivoY300Pro,想必很多人都有所了解,这款手机在续航方面堪称同档位手机无敌手,还有着旗舰同款屏幕
2024-09-22 02:27:00
低电量焦虑患者的福音,vivoy300pro开售
如今,对于许多年轻人来讲,手机已然成为他们生活中不可或缺的亲密伙伴,也正因如此,不少年轻人都有低电量焦虑症,一旦手机电量告急
2024-09-22 02:28:00
德国经济部长:希望帮助大众度过成本削减期
9月21日消息,据路透社报道,德国经济部长罗伯特・哈贝克当地时间周五表示,希望帮助大众汽车度过成本削减期,最终免于作出关闭工厂的决定
2024-09-22 02:31:00
iphone16开卖,首批货源开售即秒罄
9月20日消息,今天iPhone16开卖,而首批收到新机的用户依然花落天猫,果然还是官方更快。有首批用户在晒新机的帖子写道
2024-09-22 02:53:00
ff第二品牌fx正式发布,将涉足增程式混动领域
9月20日消息,今日早间,FaradayFuture(法拉第未来)第二品牌正式发布,品牌定名为FaradayX(简称为FX)
2024-09-22 02:54:00
vivooriginos5将于10月10日正式发布
9月20日消息,今天,vivo宣布将于10月10日在深圳举行2024vivo开发者大会,正式发布OriginOS5和自研蓝河操作系统2
2024-09-22 02:56:00