• 我的订阅
  • 科技

给我一张脸、视频背景随你换:林黛玉都被清华理工男玩废了!

类别:科技 发布时间:2024-09-12 14:46:00 来源:浅语科技

让AI视频中任意主体保持一致!就在刚刚,人人都可轻松做到了。

给我一张脸、视频背景随你换:林黛玉都被清华理工男玩废了!

给我一张脸、视频背景随你换:林黛玉都被清华理工男玩废了!

而且只需一张图片,就能实现。

——上面的每一个马斯克视频,都来自同一张照片。

给我一张脸、视频背景随你换:林黛玉都被清华理工男玩废了!

想玩的话,只需要用上清华系AI视频玩家生数科技旗下Vidu的最新功能,主体参照(Subject Consistency)。

该功能能够实现对任意主体的一致性生成,让视频生成更加稳定,也更加可控。

给我一张脸、视频背景随你换:林黛玉都被清华理工男玩废了!

“现在生成AI视频内容,想要做到‘言出法随’其实还很难,不确定性让视频内容对运镜、光效等的精细控制还是得不断抽卡。”生数科技CEO唐家渝表示,“角色一致性只能让人脸保持一致,而主体参照让主体整体造型都能保持一致,给了更大的创作空间。”

这是继今年7月,生数Vidu面向全球用户上线文生视频与图生视频能力(单视频最长生成8s)后的再次更新。

这次功能上新依然非常友好:

面向用户免费开放,注册即可体验。

给我一张脸、视频背景随你换:林黛玉都被清华理工男玩废了!

仅需一张图片实现主体可控

先来看看Vidu是怎么定义这个新功能的。

主体参照:允许用户上传任意主体的一张图片,然后由Vidu够锁定该主体形象,通过描述词任意切换场景,输出主体一致的视频。

划重点:任意主体。

也就是说,无论是人还是动物,无论是真人还是动漫形象or虚构主体,无论是家具还是商品,都能通过这个功能在视频生成中实现一致性和可控性。

目前,所有的视频大模型中,仅有Vidu率先支持这种玩法。

不必光说不练,我们来看看真实效果。

人物主体

首先来看看以人物为主体。

上传一张87版《红楼梦》林妹妹的定妆照:

给我一张脸、视频背景随你换:林黛玉都被清华理工男玩废了!

以画面中林妹妹为主体,利用主体参照功能,生成两条视频。

突然,林妹妹上台演讲了:

给我一张脸、视频背景随你换:林黛玉都被清华理工男玩废了!

又一眨眼,妹妹已经坐在星爸爸喝咖啡了:

给我一张脸、视频背景随你换:林黛玉都被清华理工男玩废了!

当然啦,真人可以作为生成视频的主体参照,虚拟角色/动漫人物同样可以。

比如输入一张漫画女孩:

给我一张脸、视频背景随你换:林黛玉都被清华理工男玩废了!

生成视频效果是酱紫的:

给我一张脸、视频背景随你换:林黛玉都被清华理工男玩废了!

这里附上一些官方给的小tips:

如需重点保持主体面容一致,需仅截取单一主体的清晰面容图

如需重点保持主体半身一致(面容+上半身服饰),仅需截取单一主体的清晰半身图

如需重点保持主体全身一致(全身特征),仅需截取单一主体的清晰全身图

动物主体

谁能不爱可爱狗狗!

给我一张脸、视频背景随你换:林黛玉都被清华理工男玩废了!

把这张照片丢给Vidu,就能实现狗狗走草地上,一步一步靠近你。

镜头后拉和主体运动幅度表现都还不错。

给我一张脸、视频背景随你换:林黛玉都被清华理工男玩废了!

商品主体

当把商品作为需要参照的主体时,在生成的视频中,商品外观和细节能在不同于图片的场景中保持一致。

就像下面这样:

给我一张脸、视频背景随你换:林黛玉都被清华理工男玩废了!

沙发所在的场景,说变就变。

上面还能睡一个盖了毯子的小女孩,遮挡住沙发原有部分。

给我一张脸、视频背景随你换:林黛玉都被清华理工男玩废了!

需要注意的是,当前版本仅支持单一主体的可控。

如果上传的图片有多个人物/物体,需要框选出单一主体进行生成。

Be Like:

给我一张脸、视频背景随你换:林黛玉都被清华理工男玩废了!

不再“两步走”了

无论是制作短视频、动画作品还是广告片,“主体一致、场景一致、风格一致”都是共同的追求。

因此,AI视频生成内容想要有叙事效果,就需要不断往三个一致方面尽力靠拢。

尤其是就现实情况而言,实际的视频创作,内容往往围绕特定的对象展开——这往往也是视频生成内容最容易变形、崩坏的一点,尤其在涉及复杂动作和交互的情况下。

挠头,脑阔痛。

给我一张脸、视频背景随你换:林黛玉都被清华理工男玩废了!

业界首先想到的办法是先AI生图、再图生视频。

说人话,就是用Midjourney、SD什么的,生成分镜镜头画面,让每张图里的主体保持一致,然后再进行图生视频,最后把每个视频片段拼接剪辑。

但一听就发现了,这样搞,无论是保持AI画图的一致性,还是后期拼拼剪剪,工作量都很大。

生数Vidu“主体参照”跟这个思路的不一样之处,就是不再两步走了。

而是通过“上传主体图+输入场景描述词”的方式,直接生成视频素材。

最后,我们来厘清以及区分三个概念:

图生视频(Image to Video)

角色一致性(Character to Video)

主体参照(Subject Consistency)

图生视频基本是现在AI视频生成的基操了。

它把输入的图片作为视频首帧,然后基于首帧画面的连续生成。

Bug是无法直接输出目标场景,限制了视频内容的多样性和场景的自由度。

角色一致性,主要集中在人物形象上起效果。

它能保证人物面部特征在动态视频中保持一致,但一般来说“一致性”只顾脸,不顾整体形象。

主体参照,面向任意主体。

同时在面向人物主体时,既可选择保持面部一致,也可选择保持人物整体形象的高度一致。

最后附上生数科技视频试玩链接,感兴趣的朋友可趁排队人不多,赶紧冲一波!

毕竟,免费的就是香,对吧(doge)。

体验直通车:www.vidu.studio

责任编辑:落木

文章内容举报

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-09-12 18:45:01

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

11所高校获奖!“2022高招宣传创新案例”发布
本文转自:长江网清华大学等高校代表上台领奖。长江日报记者任勇 摄长江网记者赵萌萌2月24日,“建立新连接创造新价值——长江网2022年度发布暨成立20周年网友节”活动现场,颁发了
2023-02-25 08:10:00
芙蓉姐姐:18年前扮丑出名,未婚生子,如今成为亿万富豪
...华或者北大。 而她这幅钻研的精神,却在同学眼里成了林黛玉一样的存在,“皮肤白,高挑瘦弱,文静有才,又倔强”,活脱脱一个现实版的林黛玉。其实,老师们的看法和同学们并无差别,但
2023-01-08 13:40:00
清华博士花1月自制极光向女友求婚,女友回应:理工男的浪漫,我一直想去看极光,他就给我创造出来
7月13日,据山海视频报道,近日,在北京,清华理工博士花1月自制极光向女友求婚,引发关注。李女士称,爱人是清华工科博士,因为自己总说想去看极光,他就想着用科学的方式造一个出来,在
2023-07-13 15:54:00
...教育教学的关键,持续推进校园体育文化建设,对标学习清华大学“无体育,不清华”的坚守,营造成都理工大学“有体育,更成理”的理念,全力将“非体生”塑造成为“文化健康人”,实现学生
2023-01-05 09:05:00
《麻省理工科技评论》中国智能计算创新人物峰会圆满落幕
...能计算创新人物颁奖仪式”在北京举办,本次活动由北京清华工业开发研究院、之江实验室作为战略合作伙伴共同支持。出席本次活动的领导嘉宾包括了北京清华工业开发研究院副院长付小龙、之江
2024-04-29 10:09:00
“鲁迅式脱口秀”引200多万粉丝追看
...里的“鲁迅”还穿越时空和其他历史名人进行互动:他和林黛玉讨论古风歌曲之怪现状,和鲁豫说相声,和范志毅吐槽“改歌词改得脸都不要了”,和朱自清探讨《背影》违反交规……视频中的人物
2024-05-10 09:22:00
我一个清华理工女,为什么要去参加世界小姐选美?
...的高个,一头乌黑的长发,面容清秀,24岁的洪昊昀走在清华校园里辨识度很高。她本科毕业论文拿下了计算机系年级第一,妥妥是一枚学霸。下个月,她就要飞往阿联酋,拿着全奖学金,在全世
2023-06-19 16:19:00
在厦求学的俄罗斯姑娘丽娜:用短视频传播 闽南文化魅力
...读小说,还专门观看改编而成的电视剧。【文化桥梁】对林黛玉有自己的独特感悟 用“她”力量讲好中国故事今年8月底,在成都举行的中国网络文明大会上,丽娜作为演讲嘉宾,分享她对中国文
2024-10-14 08:44:00
选美冠军!清华大学女生洪昊昀参加世界小姐选美大赛,夺得两项冠军,她说:我要打破人们对理工科女生的偏见
今天,从云南大理第72届世界小姐选美大赛传来好消息,清华大学女生洪昊昀获得中国区最强人气冠军和东部赛区冠军。上个月,橙柿互动曾经报道过洪昊昀的故事,她正在清华大学读研,刚刚申读博
2023-05-21 07:52:00
更多关于科技的资讯: