谷歌的Lumiere让人工智能生成的视频更接近真实而非虚构
谷歌的新视频生成人工智能模型Lumiere采用了一种名为Space-Time-U-Net(简称STUNet)的新扩散模型,这个模型能够识别视频中物体的位置(空间)以及它们是如何同时移动和变化的(时间)。据Ars Technica报道,这种方法让Lumiere能够一次性创造出视频,而不是把小的静态画面拼接起来。
Lumiere首先根据提示创建一个基础画面。然后,它利用STUNet框架开始推算画面中的物体将如何移动,以此创造出连贯的多个画面,营造出流畅运动的视觉效果。与稳定视频扩散(Stable Video Diffusion)的25帧相比,Lumiere还能生成80帧视频。
谷歌的Lumiere让人工智能生成的视频更接近真实而非虚构 (https://www.theverge.com/2024/1/27/24052140/google-lumiere-ai-video-generation-runway-pika)