OpenAI 可能正在減緩其在視訊生成市場上的投入,隨著其 Sora 應用程式關閉,但字節跳動在週四確認,其新的音訊與視訊模型 Dreamina Seedance 2.0 現已開始在編輯平台 CapCut 上推出。字節跳動表示,這個模型讓創作者可以透過提示、圖片或參考視訊,來撰寫、編輯並同步視訊與音訊內容。這一波逐步推出的計畫將首先在 CapCut 的巴西、印尼、馬來西亞、墨西哥、菲律賓、泰國與越南等國家的用戶中進行,之後會逐步擴展至更多市場。
有關 Dreamina Seedance 2.0 在 CapCut 上推出的訊息,緊接著一則報導指出,該模型的全球推出計畫曾一度暫停,以便處理受到好萊塢批評的版權侵權問題。這很可能解釋了目前 Dreamina Seedance 2.0 在 CapCut 中僅限於少數市場可用的情況。在中國,該模型則已於字節跳動的 Jianying 應用程式中提供。
字節跳動在公告中表示,這個視訊生成模型即使創作者僅使用幾個詞來描述心中所想的場景,也能夠運作,而無需參考圖片。CapCut 也擅長呈現逼真的紋理、動作與光影,適用於各種視覺角度與視點,公司指出這可以用來編輯、增強或修正創作者自己的影片。另一個應用場景是讓創作者在實際拍攝前,根據初步概念或素描測試潛在的點子。
此外,Dreamina Seedance 2.0 可用於多種內容,包括烹飪食譜、健身教學、商業或產品簡介,以及以動作為重點的影片,這些一直是 AI 視訊模型歷來較難處理的領域,公司說明道。在推出時,該模型支援長度最多為 15 秒、六種不同畫幅比例的影片片段。
在 CapCut 中,該模型將逐步推出至不同領域,包括編輯功能如 AI 視訊,以及生成工具如 Video Studio。它也會登上字節跳動的 AI 生成平台 Dreamina,以及其行銷平台 Pippit。
考慮到該模型能產生逼真的內容,字節跳動表示已加入安全限制,因此該模型將無法根據包含真實人臉的圖片或影片來製作視訊。CapCut 也會阻止未經授權的版權內容生成。(然而,如果這些限制運作正常,該模型目前應已於美國推出。很可能還在進行更多調整。)
字節跳動表示,Dreamina Seedance 2.0 產生的內容將包含隱藏水印,這有助於在內容離線平台分享時識別出由該模型產生的內容。這在於協助版權持有人提出刪除請求,以防該模型允許版權內容通過。字節跳動表示,隨著模型的推出,將與專家與創作者社群合作,持續迭代與改善模型的性能。