AI视频生成王炸更新!Pika和Runway的强大对手来了!一个可通过文字生成视频的AI模型:DynamiCrafter

AI视频生成领域有两大公司,一个是Pika,另一个是Runway。这两个公司是目前AI视频生成领域的领头羊,效果也可以说是最好的了。虽然他们很优秀,但是产品依旧无法大规模使用,原因就是生成的视频动效不可控,随机生成的效果大多数时候都不符合我们的需求!

今天,我给大家介绍一个新的AI视频生成项目,它能通过提示词生成视频动效,并且能生成符合逻辑的连贯视频!

这个AI视频模型就是: DynamiCrafter

此图片的alt属性为空;文件名为1-2-1024x420.png

DynamiCrafter是由香港中文大学和腾讯AI Lab的研究团队开发的一种动画化开放域图像的技术,它可以根据文本提示,利用预训练的视频扩散模型,为任意的静态图像生成逼真的动态内容。DynamiCrafter的主要创新点有以下几个方面:

  • 它可以处理开放域的图像,不受场景或动作的限制,只要有合适的文本提示,就可以生成各种各样的动画效果。
  • 它可以保留图像的细节和质量,不会出现模糊或失真的现象,生成的视频与输入的图像高度一致。
  • 它可以生成逻辑和自然的运动,不会出现不符合物理规律或人类常识的情况,生成的视频与文本提示高度契合。

废话不多说,我们看看效果!

图片

图片

图片

图片

图片

图片

可以看出,这几个视频动画效果还是很不错的!动画连贯,符合逻辑。

DynamiCrafter的工作原理

首先,它会将输入的图像投影到一个与文本对齐的丰富的上下文表示空间,使用一个查询变换器,让视频模型能够以一种兼容的方式理解图像的内容。

然后,它会将完整的图像与初始的噪声拼接起来,再输入到扩散模型中,利用扩散模型的运动先验,生成动态的视频序列。

DynamiCrafter的效果非常惊艳,它可以为各种类型的图像生成动画,无论是人物、动物、风景、卡通,还是抽象的图案,都可以轻松应对。我个人对它的评价是非常好用!

代码地址:
https://github.com/Doubiiu/DynamiCrafter

项目地址:

https://doubiiu.github.io/projects/DynamiCrafter/

体验地址:

https://huggingface.co/spaces/Doubiiu/DynamiCrafter

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注