或许是最有商业价值的AI，谷歌发布VideoPoet，可从0直接生成视频
今年无疑是生成式AI最火爆的一年，文字对话有ChatGPT、Gemini等，图片生成有midjourney、DALL-E等，在这之后不少厂商将目光投入到了生成式AI的最后一个关卡——视频生成。如今看来，这一领域也出现了突破，那就是这款名为VideoPoet的大语言模型。
据了解，这款名为VideoPoet的大语言模型之所以被认为是从0生成视频的革命性视频生成工具，主要就在于它不仅可以以文生视频、以图像生成视频，还能根据需要进行风格迁移也就是将一种风格的视频转换到另外一种风格，根据文本指令的提示进行交互式视频编辑，可能会给视频剪辑工作带来非常大的变革。
不仅如此，VideoPoet还能生成音频，并能通过调节视频的最后一秒预测并生成之后的一秒，并且能够通过重复这一过程来生成任意时长的视频，至于扩展视频就更不在话下，而这在视频修复、视频视频扩展方面有着非常重要的意义。
更令人眼前一亮的是，为了展示 VideoPoet 的功能，谷歌还制作了一部由 VideoPoet 生成的多个短片组成的小短片。剧本由接入了Gemini的Bard编写，整体式一个关于关于一只旅行浣熊的短篇故事，并附有逐个场景的分解和附带的提示列表。然后，谷歌为每个提示生成视频剪辑，并将所有生成的剪辑拼接在一起以生成下面的最终视频。
VideoPoet生成视频的部分截图
相关研究团队将VideoPoet与其他视频生成模型进行了对比，用各种参数来评估VideoPoet在文本生成视频方面的表现，受访者认为VideoPoet中约24-35%的示例比竞争模型更好，而竞争模型的这一比例为8-11%。由于VideoPoet生成视频的动作更有趣，评分者对VideoPoet提供示例41-54%表示了喜欢，而其他模型的这一比例则只有11-21%。
不难看出，VideoPoet不仅性能不错，还在视频制作、剪辑、修复等多个方面具有非常实际的作用，或许会成为补全生成式AI的最后一环。
不过如果以后在视频平台上看到的都是AI生成的视频，恐怕还是有点惊悚。
查看全文
作者最近更新
-
英伟达AI芯片在华遇冷，中国云计算巨头转向国产替代品热点科技
2024-01-11
-
又一个支持卫星通信的，但这次是汽车 极氪007车机可直连卫星热点科技2023-12-26
-
蔚来ET9将搭载900V高压架构 12月23日正式亮相热点科技2023-12-24
评论0条评论