<bdo id="ks4iu"><del id="ks4iu"></del></bdo>
  • 
    <pre id="ks4iu"></pre>
  • <bdo id="ks4iu"><del id="ks4iu"></del></bdo>
    <input id="ks4iu"><em id="ks4iu"></em></input>
    
    
  • <center id="ks4iu"><cite id="ks4iu"></cite></center>
  • 首頁 > 空調(diào) >

    拖拽下圖像就能生成視頻,中科大、微軟等DragNUWA屬實驚艷

    機器之心報道


    【資料圖】

    編輯:小舟

    隨著 ChatGPT、GPT-4、LLaMa 等模型的問世,人們越來越關注生成式模型的發(fā)展。相比于日漸成熟的文本生成和圖像生成,視頻、語音等模態(tài)的 AI 生成還面臨著較大的挑戰(zhàn)。

    現(xiàn)有可控視頻生成工作主要存在兩個問題:首先,大多數(shù)現(xiàn)有工作基于文本、圖像或軌跡來控制視頻的生成,無法實現(xiàn)視頻的細粒度控制;其次,軌跡控制研究仍處于早期階段,大多數(shù)實驗都是在 Human3.6M 等簡單數(shù)據(jù)集上進行的,這種約束限制了模型有效處理開放域圖像和復雜彎曲軌跡的能力。

    基于此,來自中國科學技術大學、微軟亞研和北京大學的研究者提出了一種基于開放域擴散的新型視頻生成模型 ——DragNUWA。DragNUWA 從語義、空間和時間三個角度實現(xiàn)了對視頻內(nèi)容的細粒度控制。本文共一作殷晟明、吳晨飛,通訊作者段楠。

    論文地址:https://arxiv.org/abs/2308.08089

    以拖動(drag)的方式給出運動軌跡,DragNUWA 就能讓圖像中的物體對象按照該軌跡移動位置,并且可以直接生成連貫的視頻。例如,讓兩個滑滑板的小男孩按要求路線滑行:

    還可以「變換」靜態(tài)景物圖像的相機位置和角度:

    方法簡介

    該研究認為文本、圖像、軌跡這三種類型的控制是缺一不可的,因為它們各自有助于從語義、空間和時間角度控制視頻內(nèi)容。如下圖 1 所示,僅文本和圖像的組合不足以傳達視頻中存在的復雜運動細節(jié),這可以用軌跡信息來補充;僅圖像和軌跡組合無法充分表征視頻中的未來物體,文本控制可以彌補這一點;在表達抽象概念時,僅依賴軌跡和文本可能會導致歧義,圖像控制可以提供必要的區(qū)別。

    DragNUWA 是一種端到端的視頻生成模型,它無縫集成了三個基本控件 —— 文本、圖像和軌跡,提供強大且用戶友好的可控性,從語義、空間和時間角度對視頻內(nèi)容進行細粒度控制。

    為了解決當前研究中有限的開放域軌跡控制問題,該研究重點關注三個方面的軌跡建模:

    使用軌跡采樣器(Trajectory Sampler,TS)在訓練期間直接從開放域視頻流中采樣軌跡,用于實現(xiàn)任意軌跡的開放域控制; 使用多尺度融合(Multiscale Fusion,MF)將軌跡下采樣到各種尺度,并將其與 UNet 架構每個塊內(nèi)的文本和圖像深度集成,用于控制不同粒度的軌跡; 采用自適應訓練(Adaptive Training,AT)策略,以密集流為初始條件來穩(wěn)定視頻生成,然后在稀疏軌跡上進行訓練以適應模型,最終生成穩(wěn)定且連貫的視頻。

    實驗及結果

    該研究用大量實驗來驗證 DragNUWA 的有效性,實驗結果展示了其在視頻合成細粒度控制方面的卓越性能。

    與現(xiàn)有專注于文本或圖像控制的研究不同,DragNUWA 主要強調(diào)建模軌跡控制。為了驗證軌跡控制的有效性,該研究從相機運動和復雜軌跡兩個方面測試了 DragNUWA。

    如下圖 4 所示,DragNUWA 雖然沒有明確地對相機運動進行建模,但它從開放域軌跡的建模中學習了各種相機運動。

    為了評估 DragNUWA 對復雜運動的精確建模能力,該研究使用相同的圖像和文本對各種復雜的拖動(drag)軌跡進行了測試。如下圖 5 所示,實驗結果表明 DragNUWA 能夠可靠地控制復雜運動。

    此外,DragNUWA 雖然主要強調(diào)軌跡控制建模,但也融合了文本和圖像控制。研究團隊認為,文本、圖像和軌跡分別對應視頻的三個基本控制方面:語義、空間和時間。下圖 6 通過展示文本(p)、軌跡(g)和圖像(s)的不同組合(包括 s2v、p2v、gs2v、ps2v 和 pgs2v)說明了這些控制條件的必要性。

    感興趣的讀者可以閱讀論文原文,了解更多研究內(nèi)容

    責任編輯:Rex_21

    關鍵詞:
    推薦閱讀
    欧美国产在线一区,免费看成年视频网页,国产亚洲福利精品一区,亚洲一区二区约美女探花
    <bdo id="ks4iu"><del id="ks4iu"></del></bdo>
  • 
    <pre id="ks4iu"></pre>
  • <bdo id="ks4iu"><del id="ks4iu"></del></bdo>
    <input id="ks4iu"><em id="ks4iu"></em></input>
    
    
  • <center id="ks4iu"><cite id="ks4iu"></cite></center>
  • 主站蜘蛛池模板: 久久香蕉国产视频| 亚洲国产欧洲综合997久久| 性色爽爱性色爽爱网站| 无码人妻精品中文字幕| 人妻内射一区二区在线视频| bbbbbbbw日本| 成人国产在线24小时播放视频| 国产美女在线观看| 久久精品亚洲精品国产欧美| 精品人妻大屁股白浆无码| 国产精品天天在线午夜更新| 中文字幕色网站| 国产乱子精品免费视观看片| 护士与税务干部完整2av| 亚洲精品在线电影| 51视频精品全部免费最新| 日本免费www| 亚洲精品成人a在线观看| 韩国朋友夫妇:交换4| 夜夜夜夜猛噜噜噜噜噜试看| 久久精品国产精品亚洲| 狠狠躁日日躁夜夜躁2022麻豆| 天堂网中文字幕| 久久精品国产日本波多野结衣| 黑人巨大人精品欧美三区| 富二代琪琪在线观看| 乱人伦xxxx国语对白| 男Ji大巴进入女人的视频| 国产另类ts人妖一区二区| 99精品欧美一区二区三区综合在线 | 久久久99久久久国产自输拍| 精品国精品无码自拍自在线| 国产精品久久国产精麻豆99网站| 又黄又爽的视频在线观看| 2022国产麻豆剧果冻传媒影视| 朝鲜女**又多又黑毛片全免播放 | 欧美videosex性欧美成人| 国产性生交xxxxx免费| 99在线精品视频在线观看| 无码视频一区二区三区| 亚洲人成在线影院|