最近 AI 影片異常熱鬧,Adobe 也加入混戰。今年 Adobe Max 大會,Adobe 推出 AI 影片模型:Firefly Video Model,宣告參賽生成式 AI 工具大戰。
Adobe 首席產品行銷經理 Meagan Keane 表示,Firefly Video Model 旨在簡化加速影片創作,並增加影片說故事力。模型含三個有趣實用的功能:
- Generative Extend(生成拓展)
- Text-to-Video(文生影片)
- Image-to-Video(圖生影片)
Generative Extend 已整合至 Adobe 專業影片編輯軟體 Premiere Pro,Text-to-Video 和 Image-to-Video 剛在 Firefly Web App 推出 beta 版。顧名思義,如果影片太短或漏了某些部分,Generative Extend 可幫忙在片頭或片尾「生成式擴展」。也就是說,假如某些鏡頭不可用,或剪輯時機太早或太晚,剪輯師只需拖動片頭或片尾,Generative Extend 就會自動填充,保持影片連貫滑順。
▲ Generative Extend 功能示範。
這代表如果影像創作者拍攝時只有「廢鏡頭」,不需回原地點重拍,用 Generative Extend 直接擴展和修復即可。這確實有助提高創作效率,當然 Generative Extend 生成品質有過及格線。可惜目前最高解析度為 1080p,且最長只能擴充 2 秒。
故 Generative Extend 只適合微調,即只能修復細節處,還是不能取代創作者大篇幅創作。Generative Extend 還能邊拍邊調整,修正視線偏移或其他意外晃動。除了影片,Generative Extend 還能平滑編輯音訊,音效可擴展達 10 秒,但對話或音樂沒法用。
▲ Generative Extend 音訊擴展示範。
如果想再省點力氣,可用 Text-to-Video 直接產生影片。與前輩 Runway 和 OpenAI Sora 一樣,使用者只需輸入想要影片的文字描述,就能以「真實電影」、「3D 動畫」和「定格動畫」等風格產生影片。以下是用 Text-to-Video 產生影片:
▲ 提示:無人機飛越廣闊的紅色火星景觀,從腳下飛馳而過,當太陽升起,地平線是紅色的。鏡頭結尾,太陽從地平線升起。
▲ 提示:電影特寫和夜晚街道中央一位老人的肖像細節。燈光氣氛沉悶,充滿戲劇性。顏色等級為藍色陰影和橙色高光。男人有極逼真的細節皮膚紋理和明顯的毛孔。動作微妙柔和。相機不動。膠片顆粒。老式變形鏡頭。
▲ 提示:墨西哥美麗柔和天井內拍攝視角。水清澈湛藍,傍晚陽光下閃閃發光。顏色是溫暖和神奇的魔幻風格。高品質,電影感。
除了逼真電影般視覺影像,Text-to-Video 還支援產生「抽象」畫面。如產生火焰、水、漏光和煙霧等元速,並覆蓋疊加到現成影片,增加視覺深度和趣味性。
▲ 提示:黑色背景的電影漏光,有機質感,逼真。
▲ 上述影片與現有影片合成後片段。
Text-to-Video 產生影片還可用「相機控制」細節處理,能模擬真實相機角度、運動和拍攝距離等。
Image-to-Video 功能更進一步,使用者創作時添加「參考圖像」,產生更貼近使用者想像的影片。創作者可用一張圖或照片出發,用 Image-to-Video 製作「B-roll」(指除主要內容 A-roll 外的輔助素材)。使用者可上傳影片單幀,讓 Image-to-Video 補足缺失幀,創造完整特寫。
▲ 提示:花朵在風中搖曳,一隻美麗蝴蝶落在一朵花上。
「眾所周知,影片不能 P,所以一定是真的。」
但 Image-to-Video「cyber 重拍」讓這句話變成過去式,宛如「上帝之手」,直接修改影片人物動作等:
▲ 原片段與修改後。提示:一隻戴手套的太空人手進入畫面,拔掉一條黃色電纜,有電影感。
Text-to-Video 和 Image-to-Video 產生影片最多僅 5 秒,品質最高 720p 和每秒 24 幀,產生時間約 90 秒,Adobe 正在開發「渦輪模式」縮短時間。
但影片品質不足使用戶無法用 Firefly Video Model 做出完整電影,暫時只能當成輔助工具。Adobe 強調,Firefly Video Model 只會在許可內容(如 Adobe Stock)和公共領域訓練模型,不會用客戶提供內容。
用 Firefly Video Model 建立或編輯影片可嵌入憑證,為創作者和作品提供出處,有助聲明 AI 用法和所有權權益,確保「商業安全」。感興趣讀者可加入 Adobe Firefly Video Model 體驗候補名單。
(本文由 愛范兒 授權轉載;首圖來源:Adobe Firefly)