新華通訊社主管

首頁 >> 正文

通義萬相發布視頻生成模型 可一鍵創作影視級高清視頻
2024-09-19 記者 郭倩 來源:經濟參考網

  9月19日,在杭州雲棲大會上,阿里雲CTO周靖人宣布通義萬相全面升級,併發布全新視頻生成模型,可生成影視級高清視頻,可應用於影視創作、動畫設計、廣告設計等領域。即日起,所有用戶可通過通義APP及通義萬相官網免費體驗。

  據介紹,通義萬相首批上線文生視頻、圖生視頻功能,在文生視頻功能中,用戶輸入任意文字提示詞,即可生成一段高清視頻,支持中英文多語言輸入,並可以通過靈感擴寫功能智能豐富視頻內容表現力,支持16:9、9:16等多種比例生成;在圖生視頻功能中,支持用戶將任意圖片轉化為動態視頻,按照上傳的圖像比例或預設比例進行生成,同時可以通過提示詞來控制視頻運動。

  現場,阿里雲演示了該模型強大的運動生成和概念組合能力,輸入“穿着滑冰鞋的小兔子在冰面上靈活移動的可愛場景”,通義萬相僅用數分鐘就能生成一段高清、逼真的視頻。

  據介紹,通義萬相視頻生成大模型集成了多項創新技術,有效解決畫面表現力和大幅度運動等視頻生成技術難題。針對運動生成和物理模擬等難點優化算法,實現了大幅度主體運動和運鏡控制,並有效模擬真實世界物理特性;設計了高壓縮比、高質量視頻VAE框架,有效降低視頻信息冗余,並保持高質量視頻重構能力;同時,基於輕量微調框架和精選數據集優化訓練,在中式傳統元素、風格化視頻生成上表現更好。

  去年7月,通義萬相圖像生成大模型首次亮相,目前已累計生成7500萬張圖片。雲棲大會現場,通義萬相宣布視覺生成大模型全面升級為Diffusion Transformer框架,同時結合通義千問複雜提示詞解釋能力,有效提升畫面表現力、語義理解能力、可控生成能力。隨着通義萬相視頻生成模型的發布,通義大模型已覆蓋文本生成、圖像理解、視頻理解、音頻理解、圖像生成、視頻生成等全模態場景。

凡標注來源為“經濟參考報”或“經濟參考網”的所有文字、圖片、音視頻稿件,及電子雜誌等數字媒體産品,版權均屬《經濟參考報》社有限責任公司,未經書面授權,不得以任何形式刊載、播放。獲取授權

《經濟參考報》社有限責任公司版權所有 本站所有新聞內容未經協議授權,禁止轉載使用

新聞線索提供熱線:010-63074375 63072334 報社地址:北京市宣武門西大街57號

JJCKB.CN 京ICP備18039543號