拖拽下圖像就能生成視頻，中科大、微軟等DragNUWA屬實驚艷

機器之心報道

【資料圖】

編輯：小舟

隨著 ChatGPT、GPT-4、LLaMa 等模型的問世，人們越來越關注生成式模型的發(fā)展。相比于日漸成熟的文本生成和圖像生成，視頻、語音等模態(tài)的 AI 生成還面臨著較大的挑戰(zhàn)。

現(xiàn)有可控視頻生成工作主要存在兩個問題：首先，大多數(shù)現(xiàn)有工作基于文本、圖像或軌跡來控制視頻的生成，無法實現(xiàn)視頻的細粒度控制；其次，軌跡控制研究仍處于早期階段，大多數(shù)實驗都是在 Human3.6M 等簡單數(shù)據(jù)集上進行的，這種約束限制了模型有效處理開放域圖像和復雜彎曲軌跡的能力。

基于此，來自中國科學技術大學、微軟亞研和北京大學的研究者提出了一種基于開放域擴散的新型視頻生成模型 ——DragNUWA。DragNUWA 從語義、空間和時間三個角度實現(xiàn)了對視頻內(nèi)容的細粒度控制。本文共一作殷晟明、吳晨飛，通訊作者段楠。

論文地址：https://arxiv.org/abs/2308.08089

以拖動（drag）的方式給出運動軌跡，DragNUWA 就能讓圖像中的物體對象按照該軌跡移動位置，并且可以直接生成連貫的視頻。例如，讓兩個滑滑板的小男孩按要求路線滑行：

還可以「變換」靜態(tài)景物圖像的相機位置和角度：

方法簡介

該研究認為文本、圖像、軌跡這三種類型的控制是缺一不可的，因為它們各自有助于從語義、空間和時間角度控制視頻內(nèi)容。如下圖 1 所示，僅文本和圖像的組合不足以傳達視頻中存在的復雜運動細節(jié)，這可以用軌跡信息來補充；僅圖像和軌跡組合無法充分表征視頻中的未來物體，文本控制可以彌補這一點；在表達抽象概念時，僅依賴軌跡和文本可能會導致歧義，圖像控制可以提供必要的區(qū)別。

DragNUWA 是一種端到端的視頻生成模型，它無縫集成了三個基本控件 —— 文本、圖像和軌跡，提供強大且用戶友好的可控性，從語義、空間和時間角度對視頻內(nèi)容進行細粒度控制。

為了解決當前研究中有限的開放域軌跡控制問題，該研究重點關注三個方面的軌跡建模：

實驗及結果

該研究用大量實驗來驗證 DragNUWA 的有效性，實驗結果展示了其在視頻合成細粒度控制方面的卓越性能。

與現(xiàn)有專注于文本或圖像控制的研究不同，DragNUWA 主要強調(diào)建模軌跡控制。為了驗證軌跡控制的有效性，該研究從相機運動和復雜軌跡兩個方面測試了 DragNUWA。

如下圖 4 所示，DragNUWA 雖然沒有明確地對相機運動進行建模，但它從開放域軌跡的建模中學習了各種相機運動。

為了評估 DragNUWA 對復雜運動的精確建模能力，該研究使用相同的圖像和文本對各種復雜的拖動（drag）軌跡進行了測試。如下圖 5 所示，實驗結果表明 DragNUWA 能夠可靠地控制復雜運動。

此外，DragNUWA 雖然主要強調(diào)軌跡控制建模，但也融合了文本和圖像控制。研究團隊認為，文本、圖像和軌跡分別對應視頻的三個基本控制方面：語義、空間和時間。下圖 6 通過展示文本（p）、軌跡（g）和圖像（s）的不同組合（包括 s2v、p2v、gs2v、ps2v 和 pgs2v）說明了這些控制條件的必要性。

感興趣的讀者可以閱讀論文原文，了解更多研究內(nèi)容

責任編輯：Rex_21