近日，一個由香港中文大學、Adobe 研究院、香港科技大學和智能摩爾聯合開源的先進文本到視頻生成方法 TransPixar 引起了廣泛關注。該方法突破性地將預訓練的 RGB 視頻模型擴展至生成包含透明度信息的 RGBA 視頻，為視頻創作領域帶來了革命性的變化。
TransPixar 基於先進的擴散變換器（DiT）架構，通過引入 alpha 特定的 token 和基於 LoRA 的微調技術，實現了 RGB 和 alpha 通道的聯合生成，並保持了高度一致性。同時，通過對注意力機制的優化，TransPixar 在保留原始 RGB 模型優勢的基礎上，僅需有限的訓練數據，即可生成多樣化且對齊度高的 RGBA 視頻。
TransPixar 的一大亮點是其能夠生成包含煙霧、反射等透明元素的視頻，並呈現出高度逼真的視覺效果。這一特性為其在娛樂、廣告、教育等領域的廣泛應用奠定了堅實的基礎，也為視覺效果（VFX）和交互式內容創作提供了全新的可能性。
TransPixar 的主要功能：
- RGBA 視頻生成： 從文本描述生成包含 RGB 顏色通道和 alpha 透明度通道的視頻，實現複雜視覺效果的創建。
- 透明效果處理： 支持生成具有透明屬性的元素，如煙霧、反射等，並與背景場景無縫融合，適用於視覺效果（VFX）等應用。
- 高質量視頻生成： 在生成 RGBA 視頻的同時，保留原始 RGB 視頻生成模型的高質量，確保視頻的清晰度和細節表現。
- 多場景適應性： 適用於各種場景和對象類型的視頻生成，包括人物動作、自然景觀、動態效果等，具有良好的泛化能力。
- 文本驅動內容創作： 根據輸入的文本描述，生成與之匹配的視頻內容，實現文本到視頻的自動化創作，提高內容生產的效率和創造性。
TransPixar 的技術原理：
- 擴散變換器（DiT）架構： 基於 DiT 模型，利用自注意力機制捕捉視頻幀之間的長程依賴關係，實現對視頻內容的精細建模和生成。
- alpha 通道生成： 在 DiT 模型中引入 alpha 特定的 token，與 RGB token 聯合生成，實現 alpha 通道的生成，支持 RGBA 視頻的輸出。
- LoRA 微調： 基於 LoRA（Low-rank Adaptation）的微調方案，對 alpha token 的投影進行微調，在保持 RGB 生成質量的同時，優化 alpha 通道的生成。
- 注意力機制優化： 系統分析並優化 RGBA 生成過程中的注意力機制，包括 Text-attend-to-RGB、RGB-attend-to-Text、RGB-attend-to-Alpha 等，通過調整注意力計算，實現 RGB 和 alpha 通道之間的強對齊和高質量生成。
- 數據集擴展與訓練策略： 在有限的 RGBA 視頻數據集上進行訓練，採用合理的數據預處理和訓練策略，提高模型對多樣化場景和對象類型的適應能力，增強生成內容的多樣性和一致性。
TransPixar 的應用場景：
- 娛樂領域： 快速生成星球爆炸特效片段，助力科幻電影後期製作。
- 廣告領域： 製作展示新款電動車外觀和行駛動態的廣告視頻，吸引消費者關注。
- 教育領域： 生成物體受力運動視頻，輔助講解物理定律，提高學生理解。
- 增強現實（AR）： 生成逼真巴黎全景視頻，為 VR 旅遊應用提供沉浸式體驗。
- 創意產業： 創作奇幻世界視頻，拓展數字藝術表現形式和創意空間。
TransPixar 的出現，標誌著文本生成視頻技術邁向了新的高度。 這一技術的開源，將極大地推動視頻創作領域的發展，為更多創作者提供便捷、高效的創作工具，釋放無限創意，創造出更多令人驚嘆的視覺盛宴。
項目地址：
- 項目官網： https://wileewang.github.io/TransPixar/
- GitHub 倉庫： https://github.com/wileewang/TransPixar
- arXiv 技術論文： https://arxiv.org/pdf/2501.03006
- 在線體驗 Demo： https://huggingface.co/spaces/wileewang/TransPixar
