直接生成16秒高清視頻 我國自研視頻大模型在京發布-新華網
新華網 > > 正文
2024 04/27 21:39:13
來源:新華網

直接生成16秒高清視頻 我國自研視頻大模型在京發布

字體:

  新華社北京4月27日電(記者魏夢佳)只需一段文字指令就能生成一段逼真視頻,今年初,文生視頻大模型Sora在全球人工智慧業內外引發廣泛關注。27日,2024中關村論壇年會上首次發布我國自研的具“長時長、高一致性、高動態性”特點的文生視頻大模型Vidu。

  記者從會上獲悉,這一視頻大模型由清華大學聯合北京生數科技有限公司共同研發,可根據文本描述直接生成長達16秒、分辨率高達1080P的高清視頻內容,不僅能模擬真實物理世界,還擁有豐富想像力。

  清華大學人工智慧研究院副院長、生數科技首席科學家朱軍説,當前國內視頻大模型的生成視頻時長大多為4秒左右,Vidu則可實現一次性生成16秒的視頻時長。同時,視頻畫面能保持連貫流暢,隨著鏡頭移動,人物和場景在時間、空間中能保持高一致性。

  在動態性方面,Vidu能生成復雜的動態鏡頭,不再局限于簡單的推、拉、移等固定鏡頭,而是能在一段畫面裏實現遠景、近景、中景、特寫等不同鏡頭的切換,包括能直接生成長鏡頭、追焦、轉場等效果。

  “Vidu能模擬真實物理世界,生成細節復雜且符合物理規律的場景,例如合理的光影效果、細膩的人物表情等,還能創造出具有深度和復雜性的超現實主義內容。”朱軍介紹,由于採用“一步到位”的生成方式,視頻片段從頭到尾連續生成,沒有明顯的插幀現象。

  此外,Vidu還可生成如熊貓、龍等形象。

  據悉,Vidu的技術突破源于團隊在機器學習和多模態大模型方面的長期積累,其核心技術架構由團隊早在2022年就提出並持續開展自主研發。“作為一款通用視覺模型,我們相信,Vidu未來能支援生成更加多樣化、更長時長的視頻內容,探索不同的生成任務,其靈活架構也將相容更廣泛的模態,進一步拓展多模態通用能力的邊界。”朱軍説。

【糾錯】 【責任編輯:吳京澤】