AI视频生成领域有两大公司,一个是Pika,另一个是Runway。这两个公司是目前AI视频生成领域的领头羊,效果也可以说是最好的了。虽然他们很优秀,但是产品依旧无法大规模使用,原因就是生成的视频动效不可控,随机生成的效果大多数时候都不符合我们的需求!
今天,我给大家介绍一个新的AI视频生成项目,它能通过提示词生成视频动效,并且能生成符合逻辑的连贯视频!
这个AI视频模型就是: DynamiCrafter
DynamiCrafter是由香港中文大学和腾讯AI Lab的研究团队开发的一种动画化开放域图像的技术,它可以根据文本提示,利用预训练的视频扩散模型,为任意的静态图像生成逼真的动态内容。DynamiCrafter的主要创新点有以下几个方面:
-
它可以处理开放域的图像,不受场景或动作的限制,只要有合适的文本提示,就可以生成各种各样的动画效果。 -
它可以保留图像的细节和质量,不会出现模糊或失真的现象,生成的视频与输入的图像高度一致。 -
它可以生成逻辑和自然的运动,不会出现不符合物理规律或人类常识的情况,生成的视频与文本提示高度契合。
废话不多说,我们看看效果!
可以看出,这几个视频动画效果还是很不错的!动画连贯,符合逻辑。
DynamiCrafter的工作原理
首先,它会将输入的图像投影到一个与文本对齐的丰富的上下文表示空间,使用一个查询变换器,让视频模型能够以一种兼容的方式理解图像的内容。
然后,它会将完整的图像与初始的噪声拼接起来,再输入到扩散模型中,利用扩散模型的运动先验,生成动态的视频序列。
DynamiCrafter的效果非常惊艳,它可以为各种类型的图像生成动画,无论是人物、动物、风景、卡通,还是抽象的图案,都可以轻松应对。我个人对它的评价是非常好用!
https://github.com/Doubiiu/DynamiCrafter
项目地址:
https://doubiiu.github.io/projects/DynamiCrafter/
体验地址:
https://huggingface.co/spaces/Doubiiu/DynamiCrafter