快手可灵大模型开放视频续写功能 可生成最长约3分钟视频

本文转自：中国新闻网

快手的视频生成大模型“可灵”自面世以来，以其惊艳效果引发了国内外的广泛关注。 6月21日，可灵再度进化，正式推出图生视频功能，支持用任意静态图像生成5s视频，并且可搭配不同的文本内容，实现丰富的视觉叙事 。同时，可灵还发布了业内领先的视频续写功能，可为已生成的视频(含文生视频及图生视频)提供便捷的一键续写和连续多次续写，将视频最长可延伸至约3分钟，充分显示了可灵强大的想象力与精细的可控性，极大地拓展了视频大模型的创作边界。

化静为动 按需定制视觉叙事

此前，“可灵”在文生视频方面已经展现出了创造逼真运动场景、精确模拟物理特性的强大能力，以及将复杂概念巧妙融合的高超技艺，其输出堪比电影级画质，并允许用户自由调节视频的纵横比。而这些卓越特性，如今都被完美融入到了图生视频模型。用户只需上传一张图片，“可灵”即能基于对图像的深度解析，变静为动，赋予其5秒的鲜活生命力。

上传经典的蒙娜丽莎，可灵能够让蒙娜丽莎戴上墨镜，并赋予她灵动的眼神交流。让名画中的人物活灵活现。

蒙娜丽莎

得益于其基础模型架构中的3D时空联合注意力机制，可灵在构建复杂时空运动方面也展现了卓越能力。这使得模型在转换静态图像为动态视频时，能够细腻而准确地实现大幅度运动场景。例如，只需上传一张牧羊犬追球的静止照片，模型就能生成一段生动的视频：牧羊犬活灵活现地奔跑追逐网球，其耳朵轻轻晃动，毛发随风飘扬，而网球则在空中弹跳，视频整体自然而流畅。

牧羊犬

再以一张汽车飞驰的图片为素材，可灵能创造出身临其境的驾驶场景。在这段视频中，汽车不仅在公路上展现出疾速前行的姿态，而且巧妙地融入了对向车道上连续不断的车流。同时，道路两旁的树木快速向后掠去，模拟出强烈的行驶速度感，而虚化处理的隔离带进一步增强了视觉上的动态效果与速度印象，整体画面宛如出自精心策划的广告大片。

飞驰的汽车

可灵图生视频模型还融入了强大的提示词融合技术，深化了对图像语义与用户指令的理解整合。这意味着，模型能够根据用户提供的不同文本指令，精妙地变换视频中的动态表现。举例来说，当使用一张女孩的照片生成视频，模型默认生成的效果可能是轻风中她发丝轻轻飘动，周遭花朵摇曳，水面闪烁着细腻的波纹。而如果用户具体输入“女孩转身背对镜头”，视频便会智能添加女孩优雅转身的动作，并细腻捕捉到转身瞬间的微笑和眨眼，展现了自然而生动的细节处理能力。

女孩照片

再比如用巨龙图片生成视频，输入“正在捕食的巨龙，飞扬的沙子，奇幻风格的电影”，视频便呈现巨龙昂首展翅掀起漫天黄沙，嘴部开合仿佛在咆哮的生动效果与奇幻场景。通过这种文本与图像意义的紧密联动，可灵将按需定制的视觉叙事提升到了一个新高度。

巨龙

此外，可灵图生视频模型支持不同风格的图像输入，不论是自然写实还是风格化图像都能轻松处理，同时兼容各种长宽比的图像输入，展示出强大的灵活性和适应性。例如这张骑士拿剑的竖版图片，生成视频中骑士黑袍飞舞，亮剑仙气环绕，拉满氛围感。

骑士

业内领先 视频续写可生成最长约3分钟视频

可灵大模型还新推出了视频续写功能，用户只需一键操作，即可在已生成视频的基础上延续生成约5秒内容，该功能同时适用于文生视频和图生视频。更令人瞩目的是，通过连续多次续写，能够最长生产约3分钟的连贯视频。基于对物理运动的深入理解，视频续写不仅确保新生成部分与原视频间的运动连贯性及物理合理性，还能巧妙融入大幅度的动作变化，提升视频的生动性。

此次升级的一大亮点是集成文本控制机制于视频续写中，这意味着用户能够通过自定义提示词，为每段视频续写注入个性化创意。得益于此，模型利用高效的提示词融合技术，平滑地在场景间过渡，响应用户的每一个灵感火花。举例来说，一个关于古堡的视频片段，用户既可以选择让它先“太阳落下去，天空变暗”，继而“太阳升起来，天空变亮”，亦可探索另一路径：“太阳落下去，天空变暗，灯光渐亮”，随后“灯光亮起，雾气氤氲”，以此创造出各具特色的连续视觉叙事，完美贴合用户的多样化需求。

古堡的视频片段截图

6月6日，可灵文生视频大模型正式亮相，不仅在效果上比肩Sora，还即时在快影App上启动了邀测体验，截至目前，已有累计超过14万人排队申请。此次进化，可灵文生视频基础大模型的强大能力被无缝整合到图生视频和视频续写功能中，将为用户带来更为丰富、灵活的视频创作体验。

恰逢近日CVPR2024在美国举行，在这一国际顶级计算机视觉和模式识别领域学术盛会上，快手也同步发布了可灵大模型的图生视频和视频续写等最新功能，引起现场的强烈反响。

据悉，快手还将在下月召开的2024世界人工智能大会(WAIC)上，举办以“新AI·新应用·新生态”为主题的大模型技术生态论坛。届时，快手将发布最新的大模型技术与应用战略，包括快手大模型技术矩阵全景、基座模型技术创新、应用和落地情况等。