• 我的订阅
  • 科技

OpenAI发布首个文生视频模型Sora,网友:工作要丢了!

类别:科技 发布时间:2024-02-16 18:20:00 来源:财经风云

2月16日凌晨,OpenAI再次扔出一枚深水炸弹,发布了首个文生视频模型Sora。据介绍,Sora可以直接输出长达60秒的视频,并且包含高度细致的背景、复杂的多角度镜头,以及富有情感的多个角色。

目前官网上已经更新了48个视频demo,在这些demo中,Sora不仅能准确呈现细节,还能理解物体在物理世界中的存在,并生成具有丰富情感的角色。该模型还可以根据提示、静止图像甚至填补现有视频中的缺失帧来生成视频。

OpenAI发布首个文生视频模型Sora,网友:工作要丢了!

例如一个Prompt(大语言模型中的提示词)的描述是:在东京街头,一位时髦的女士穿梭在充满温暖霓虹灯光和动感城市标志的街道上。

在Sora生成的视频里,女士身着黑色皮衣、红色裙子在霓虹街头行走,不仅主体连贯稳定,还有多镜头,包括从大街景慢慢切入到对女士的脸部表情的特写,以及潮湿的街道地面反射霓虹灯的光影效果。

OpenAI发布首个文生视频模型Sora,网友:工作要丢了!

电影预告片讲述了30岁宇航员戴着红色羊毛针织摩托车头盔的冒险经历,蓝天、盐漠,电影风格,35毫米胶片拍摄,色彩鲜艳。

AI想象中的龙年春节,红旗招展人山人海。有紧跟舞龙队伍抬头好奇观望的儿童,还有不少人掏出手机边跟边拍,海量人物角色各有各的行为。

OpenAI发布首个文生视频模型Sora,网友:工作要丢了!

竖屏超近景视角下,这只蜥蜴细节拉满:

OpenAI发布首个文生视频模型Sora,网友:工作要丢了!

网友直呼gameover,工作要丢了:

OpenAI发布首个文生视频模型Sora,网友:工作要丢了!

甚至有人已经开始“悼念”一整个行业:

OpenAI发布首个文生视频模型Sora,网友:工作要丢了!

还有网友表示,电影业要彻底颠覆了。

OpenAI发布首个文生视频模型Sora,网友:工作要丢了!

OpenAI发布首个文生视频模型Sora,网友:工作要丢了!

OpenAI发布首个文生视频模型Sora,网友:工作要丢了!

OpenAI发布首个文生视频模型Sora,网友:工作要丢了!

OpenAI发布首个文生视频模型Sora,网友:工作要丢了!

一位YouTube博主PaddyGalloway发表了对Sora的感想,他表示内容创作行业已经永远的改变了,并且毫不夸张。“我进入YouTube世界已经15年时间,但OpenAI刚刚的展示让我无言…动画师/3D艺术家们有麻烦了,素材网站将变得无关紧要,任何人都可以无壁垒获得难以置信的产品,内容背后的‘想法’和故事将变得更加重要。”

对于Sora当前存在的弱点,OpenAI也不避讳,指出它可能难以准确模拟复杂场景的物理原理,并且可能无法理解因果关系。

例如“五只灰狼幼崽在一条偏僻的碎石路上互相嬉戏、追逐”,狼的数量会变化,一些凭空出现或消失。

OpenAI发布首个文生视频模型Sora,网友:工作要丢了!

该模型还可能混淆提示的空间细节,例如混淆左右,并且可能难以精确描述随着时间推移发生的事件,例如遵循特定的相机轨迹。

如提示词“篮球穿过篮筐然后爆炸”中,篮球没有正确被篮筐阻挡。

OpenAI发布首个文生视频模型Sora,网友:工作要丢了!

OpenAI表示,他们正在教AI理解和模拟运动中的物理世界,目标是训练模型来帮助人们解决需要现实世界交互的问题。

随后OpenAI解释了Sora的工作原理,Sora是一个扩散模型,它从类似于静态噪声的视频开始,通过多个步骤逐渐去除噪声,视频也从最初的随机像素转化为清晰的图像场景。Sora使用了Transformer架构,有极强的扩展性。

视频和图像是被称为“补丁”的较小数据单位集合,每个“补丁”都类似于GPT中的一个标记(Token),通过统一的数据表达方式,可以在更广泛的视觉数据上训练和扩散变化,包括不同的时间、分辨率和纵横比。

Sora是基于过去对DALL·E和GPT的研究基础构建,利用DALL·E3的重述提示词技术,为视觉模型训练数据生成高描述性的标注,因此模型能更好的遵循文本指令。

如今,Sora正面向部分成员开放,以评估关键领域的潜在危害或风险。同时,OpenAI也邀请了一批视觉艺术家、设计师和电影制作人加入,期望获得宝贵反馈,以推动模型进步,更好地助力创意工作者。OpenAI提前分享研究进展,旨在与OpenAI以外的人士合作并获取反馈,让公众了解即将到来的AI技术新篇章。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-02-16 20:45:09

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

OpenAI发布文生视频模型Sora,奥尔特曼选取网友提示词
2月16日凌晨,OpenAI再次扔出一枚深水炸弹,发布了首个文生视频模型Sora。据介绍,Sora可以直接输出长达60秒的视频
2024-02-16 18:44:00
谷歌VideoPoet大模型上线,生成长达10秒视频,还可自动配音 | 最前线
...编辑|邓咏仪 尚恩Google又又又发布了新模型,这次是在文生/图生视频赛道又“卷”了一把对手们。12月19日,谷歌专门发了一款搞视频生成的模型VideoPoet
2023-12-22 14:45:00
视频生成大模型sora和可灵的区别在哪里?
...者将OpenAI官方公布的5条Sora视频提示词投喂给可灵,对其文生视频的能力进行测试,同时从动态、视效、细节、场景等多维度表现进行结果比对和关联。测试和观察后发现,虽然在部
2024-06-26 14:27:00
别等Sora了!这些国产AI视频大模型,款款都超能打
...在国内众多视频大模型中,体验足以位列前三。可灵支持文生视频和图片生成视频(也可以加入文字描述)两种模式,而且可以调整创意想象力和创意相关性。可灵1.5大模型免费用户使用文生视
2024-12-11 20:13:00
赛道正在变得拥挤 腾讯混元大模型杀入文生视频 让用户 “用起来”是关键
...)昨日,腾讯混元大模型正式上线视频生成能力,这是继文生文、文生图、3D生成之后,混元大模型的最新业务进展。与此同时,腾讯开源该视频生成大模型,参数量130亿,是当前最大的视频
2024-12-04 09:56:00
腾讯混元上线文生视频并开源,120秒内成片!还有提示词建议
...天,腾讯混元大模型正式上线视频生成能力,这是在腾讯文生文、文生图、3D生成之后的最新技术进展。据腾讯混元多模态生成技术负责人凯撒现场介绍,此次更新中,HunYuan-Vide
2024-12-04 09:49:00
谷歌推出“文生视频”扩散模型
1月29日消息,谷歌研究院日前推出了一款名为Lumiere的“文生视频”扩散模型,主打采用自家最新开发的“Space-TimeU-Net”基础架构
2024-01-29 11:15:00
最强开源文生图模型一夜易主!SD原班人马打造,要发SOTA视频生成模型
最强开源文生图模型一夜易主!智东西8月2日报道,昨日晚间,开源文生图模型霸主Stable Diffusion原班人马,宣布推出全新的图像生成模型FLUX
2024-08-05 09:39:00
Sora横空出世,马斯克惊叹,网友:工作要丢了
...了2月16日凌晨,OpenAI再次扔出一枚深水炸弹,发布了首个文生视频模型Sora。据介绍,Sora可以直接输出长达60秒的视频
2024-02-17 21:02:00
更多关于科技的资讯: