半岛平台谷歌一出手，又把 AI 视频生成卷上了新高度。一句话生成视频半岛平台，现在在名为

　　如此一致性和质量，再次点燃了网友们对 AI 视频生成的热情：谷歌加入战局，又有好戏可看了。

　　不止是文生视频，Lumiere 把 Pika 的“一键换装”也复现了出来。

　　左谷歌右 pika，同样是选中区域一句话完成视频编辑，你 pick 哪一边？

　　在此前的方法中，常见的做法是，扩散模型先生成一些稀疏的关键帧，而后通过一系列时间超分辨率（TSR）模型来填补关键帧之间的空白，接着再用空间超分辨率模型获取高清视频结果。

　　Lumiere 的创新点在于半岛平台，提出了时空 U-Net（STU-Net）架构：将视频在空间和时间两个维度同时进行下采样和上采样，在网络的中间层得到视频的压缩时空表示。

　　具体来说，基于这一架构，模型能够一次性生成视频中的所有帧 —— 这也就提升了生成视频的连贯性。

　　同时，因为大部分计算发生在压缩后的表示上半岛平台，STU-Net 能有效减少计算量，降低对计算和内存的需求。

　　另外，为了提升视频的分辨率，研究人员使用多重扩散（MultiDiffusion）技术，通过线性加权空间超分辨率网络来处理重叠时间窗口带来的边界伪影等问题，从而能将生成画面融合为一个整体，得到连贯、高清的视频效果。

　　值得一提的是，得益于时空 U-Net 架构端到端全帧率视频生成的能力和高效计算，Lumiere 灵活可扩展，可以轻松应用到下游任务中，包括文生视频、图生视频、视频风格化、视频编辑修复等等。

　　实验设计是这样的：志愿者会同时看到一对视频，一个来自 Lumiere半岛平台，另一个来自其他基线模型。志愿者被要求从中选出视觉质量、动态效果更好，更符合文本提示的视频。

　　研究人员收集了大约 400 份反馈，结果显示半岛平台，在视频质量、文本匹配度方面，Lumiere 超越了 Pika、Gen2、Imagen Video、SVD 等一众顶级视频生成模型。

　　视频很不错，但是谷歌，你又不打算发布任何代码、权重，也不提供 API 了，对吗？

　　广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。