• 我的订阅
  • 科技

阿里AI新技术,让普通人秒变舞蹈达人

类别:科技 发布时间:2024-01-08 11:50:00 来源:电科技
阿里AI新技术,让普通人秒变舞蹈达人

2024年一开年,社交媒体和朋友圈就被一系列惊艳舞蹈视频占领了。钢铁侠跳起了科目三,马斯克也在摆着网红舞步,这些大约10秒的视频都是借助大模型技术制作的,轻松让任何人或角色变成舞蹈达人,掀起了一阵斗舞狂潮。

网友们对于人工智能创作工具的一键生成能力感到惊叹,表示AI治愈了自己的四肢不协调,甚至连考古界都感受到了科目三的风潮。现在,只需一张照片,每个人都能轻松变身为舞蹈大师,不再需要亲自上场跳舞!

这正是阿里巴巴推出的黑科技——Animate Anyone视频生成模型所做的事情。自去年11月以来,这个让图片动起来的创新工具在Twitter和YouTube上火得一塌糊涂,相关视频的播放量都突破了1亿次,而且在GitHub上的关注度也飙升,超过了1万Star。国外的网友和开发者对这个技术赞不绝口,都期待着更多的体验机会。

阿里AI新技术,让普通人秒变舞蹈达人

使用Animate Anyone也很简单,通过打开「通义千问」APP,输入"通义舞王"或"全民舞王",选择喜欢的舞蹈模板,并上传一张全身照片,系统就能生成约10秒的舞蹈视频。这项技术能够处理真人、动漫或卡通角色的图片,轻松实现科目三、鬼步舞或兔子舞等流行舞蹈,并提供了12种热门舞蹈模板供用户选择,让每个人都能成为舞蹈达人,而且完全免费。

以往在视频制作中,让人物动作既流畅又自然一直是个难题,但阿里的Animate Anyone技术却做到了。它不仅能精确捕捉角色的每个细节,比如面部表情和服装纹理,而且让动画中的角色动作平滑自然,看起来和原图一样逼真。这在视频生成领域,尤其是在处理人物动作上,无疑是AI动画的一个重大突破。

在视频生成这个大模型领域的热点中,谷歌、Meta和Runway等大牌也在搅动水花。但要说难点,就是让视频里的人物动作既真实又流畅,一直是个技术大关。

以前的技术,比如基于GAN的方法,虽然也能让图片动起来,但常常会出现一些问题,像是图片的某部分变得扭曲或者模糊,或者动画的每一帧之间看起来不够连贯。这就好像是你看一部电影,发现里面的人物忽然变形了,或者画面突然跳跃,感觉就很奇怪。

而这次,阿里的研究团队提出了一种解决方案,就是Animate Anyone。这个技术能把任何角色的图片转化成一段遵循特定姿势序列的动画视频。他们利用了Diffusion的网络设计,这个网络能处理多帧输入,也就是说,它能同时考虑到视频中的多个画面。

阿里AI新技术,让普通人秒变舞蹈达人

据阿里公开论文透露,Animate Anyone融合了多项创新技术,其中包括引入的ReferenceNet,这个网络专注于捕捉并保留原始图像信息,能够精准还原人物的外观、表情和服装细节。另外,它还运用了高效的Pose Guider姿态引导器,确保动作的精确度和可控性;同时,通过其时间序列生成模块,有效地确保视频帧之间的流畅连贯。

感兴趣的朋友,还可以前往了解体验更多。

项目地址:https://humanaigc.github.io/outfit-anyone/

体验地址:https://huggingface.co/spaces/HumanAIGC/OutfitAnyone

阿里AI新技术,让普通人秒变舞蹈达人

Animate Anyone 框架

这项技术经过超过5000个角色视频剪辑的数据集训练,效果自然逼真,能够保持视频中人物的外观和动作的时间一致性,生成无抖动或闪烁的高清视频。在性能测试中,Animate Anyone在时尚视频合成和人类舞蹈生成方面表现优于其他模型,无需额外人体掩码学习,这也展示了其强大的前景和背景关系理解能力及动作的视觉连贯性。

为了展示这种差异,我们以一张静态照片为例。

从直观感受来看,DreamPose 和 BDMM 在保持服装纹理细节方面有所欠缺,动作的连贯性和闪烁问题较为明显。相比之下,Animate Anyone则表现得像真人模特般自然流畅,衣服的纹理保持得很好,甚至连腿部衣裙的开衩都处理得非常精准,细节展现得更为到位。

Animate Anyone技术,推动的不仅是人工智能研究领域的进步,而是跨越了各个行业的界限,从在线零售到娱乐视频制作,再到艺术创作和虚拟角色开发,它为各种应用场景提供了新的可能性。

该团队推出的虚拟试衣间Outfit Anyone就是一个例证,当搭配上Animate Anyone,这款虚拟试衣间技术不仅使得个性化服装搭配变得易如反掌,这也意味着无论你是谁,无论你喜欢的风格如何,都可以找到适合你的虚拟试穿体验。而且它还能适应各种体型,从健身型到曲线型,甚至是娇小型,让每个人都能在这个虚拟试衣间找到适合自己的特色风格。

阿里AI新技术,让普通人秒变舞蹈达人

此外,结合Animate Anyone技术,AI动漫人物绘画生成的门槛被大大降低,让普通人也能轻松创作出多样化的动漫角色。用户可以根据自己的偏好,自由搭配角色的面部、服装、配饰和背景,创造出具有个性和魅力的二次元角色。

阿里AI新技术,让普通人秒变舞蹈达人

以及,随着数字人技术的发展和成本的降低,Animate Anyone技术也在虚拟数字人的领域中大放异彩,从新闻播报到客服、讲解等领域的应用不断拓展,预计到2026年,中国虚拟数字人市场规模将达到102.4亿元。用户可以通过定制功能,创建符合自己需求的数字化身,进一步推动数字人在更广阔领域的应用。

阿里AI新技术,让普通人秒变舞蹈达人

过去一年,AI技术如同超速列车,从文字和代码创作,到电影级高清制作,再到如今的视频生成,AI不仅仅是技术界的多面手,更是变革的先锋。

在这场技术浪潮中,视频生成技术尤其引人注目,从Runway的Gen-2模型到Meta的Emu Video,再到Stability AI的Stable Video Diffusion,每一步进展都是界限的拓宽,国内的字节和华为也展现出中国科技的创新实力,纷纷推出引人注目的应用,不断拓宽行业界限。

阿里在这场竞赛中同样表现出色,将Animate Anyone整合进通义千问APP,使舞蹈视频合成变得触手可及。这不仅代表了技术上的突破,更预示着生活方式的转变。随着AI的不断进步,我们正迎来一个新时代,见证生成式AI如何改变我们的工作和创造方式。阿里无疑将继续在这场技术变革中发挥重要作用

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-01-08 15:45:27

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

阿里的AI有点“笨”,但是他们能成事儿!
...这两天刚上线的钉钉个人版,集成了 AI 对话和文档,把普通人用 AI 最常用的两个场景给覆盖了。虽然对话依然傻傻的,但是写写文档框架、续写和润色内容已经很提效了。今天的 AI
2023-08-23 15:00:00
核心提示:升格后的数贸会,让普通人现场体验全球最前沿的数字技术,还将重点举办丝路电商、数字文化贸易、数字金融等10场主题论坛,为数字贸易领域开展文化、科技、经济等方面的高质量合作
2023-11-24 12:40:00
李彦宏当起了反焦虑达人
...人类工作岗位的「坏消息」从没有当前这般密集地轰炸到普通人身上。不过最近有科技领袖说,这种担忧大可不必。在5月18日的第七届世界智能大会上,百度CEO李彦宏在演讲中明确表示,「
2023-05-19 14:47:00
短视频让千年诗意焕发新光彩
...和传播。此外,短视频作为“新时代的文本”,也让更多普通人拥有了创作和自我表达的机会。在名家讲解古诗词的短视频下,网友们争相在评论区写下自己对古诗词的心得和感悟并互相交流;借助
2023-09-22 15:52:00
外国友人眼中的三亚游艇生活
...感到开心,因为很高兴大家认识到游艇不是富人的专属,普通人也能享受游艇旅游。”结合他个人的生活和工作经历,托马斯·利普斯基说:“当游艇爱好者们驾驶游艇抵达一座城市时,他们希望能
2023-04-19 03:43:00
...100万,引起热烈反响。演出以新颖多样的艺术形式,展现普通人的奋斗和蒸蒸日上的生活,凸显网络视听文艺接地气、贴人心的艺术特色。多媒体舞蹈《千里江山 有我一笔》中,工人、农民
2023-02-21 04:36:00
主动拥抱人工智能新浪潮
...能造福生活体现得淋漓尽致。“大模型可以在方方面面给普通人带来便利,例如帮助大家学习知识、修改文章、生成方案等。因此,大模型的集中发布可以让普通人快速接触、使用和了解大模型。”
2023-09-14 11:32:00
网络文明好声音丨阿里巴巴集团首席执行官吴泳铭:以新技术提升平台治理能力
...将推动人类社会和文明的演进,而网络文明的健康发展在新技术浪潮中也面临机遇和挑战。”吴泳铭说,展望未来,应该充分发挥互联网的新型生产力优势,用新技术提升平台能力,用好AI技术,
2024-08-28 22:49:00
中国电影:在成长中展望未来
...术掌握在少数电影工作者手中,但AI的便利和高效使更多普通人和PGC(专业生产内容)创作者能够参与其中。“在AI的帮助下,更多人能够参与影视创作,拥有更多话语权,创造更多可能性
2024-06-26 09:54:00
更多关于科技的资讯: