快手可灵上线图生视频与最长 3 分钟的视频续写功能

2024-06-21 18:20:05 业界科普

感谢IT之家网友 航空先生、西窗旧事 的线索投递!

IT之家 6 月 21 日消息,快手可灵新功能“图生视频”和“视频续写”今日上线。

图生视频功能,支持将静态图像转化为 5 秒钟视频,用户可通过提示词文本控制图像中物体的运动;视频续写功能,支持对生成视频一键续写和连续多次续写,最长可生成约 3 分钟视频;此外文生视频新增 9:16 和 1:1 视频尺寸选择。

IT之家附快手可灵官方网站:https://kling.kuaishou.com/

可灵是由快手自研打造的视频生成大模型,能够生成大幅度的合理运动,模拟物理世界特性。

可灵使用了 DiT 架构,快手对模型中的隐空间编 / 解码、时序建模等模块进行了升维处理。

在隐空间编 / 解码上,快手自研了 3D VAE 网络,实现时空同步压缩,获得了较高的重建质量,在训练性能和效果之间取得了平衡。在时序信息建模上,快手设计了一款全注意力机制作为时空建模模块。

版权说明: 本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。