叫陣 Sora!Adobe 推 AI 影片神器,一句話做後製

作者 | 發布日期 2024 年 10 月 17 日 11:15 | 分類 AI 人工智慧 , 軟體、系統 line share Linkedin share follow us in feedly line share
叫陣 Sora!Adobe 推 AI 影片神器,一句話做後製


最近 AI 影片異常熱鬧,Adobe 也加入混戰。今年 Adobe Max 大會,Adobe 推出 AI 影片模型:Firefly Video Model,宣告參賽生成式 AI 工具大戰。

Adobe 首席產品行銷經理 Meagan Keane 表示,Firefly Video Model 旨在簡化加速影片創作,並增加影片說故事力。模型含三個有趣實用的功能:

  • Generative Extend(生成拓展)
  • Text-to-Video(文生影片)
  • Image-to-Video(圖生影片)

Generative Extend 已整合至 Adobe 專業影片編輯軟體 Premiere Pro,Text-to-Video 和 Image-to-Video 剛在 Firefly Web App 推出 beta 版。顧名思義,如果影片太短或漏了某些部分,Generative Extend 可幫忙在片頭或片尾「生成式擴展」。也就是說,假如某些鏡頭不可用,或剪輯時機太早或太晚,剪輯師只需拖動片頭或片尾,Generative Extend 就會自動填充,保持影片連貫滑順。

▲ Generative Extend 功能示範。

這代表如果影像創作者拍攝時只有「廢鏡頭」,不需回原地點重拍,用 Generative Extend 直接擴展和修復即可。這確實有助提高創作效率,當然 Generative Extend 生成品質有過及格線。可惜目前最高解析度為 1080p,且最長只能擴充 2 秒。

故 Generative Extend 只適合微調,即只能修復細節處,還是不能取代創作者大篇幅創作。Generative Extend 還能邊拍邊調整,修正視線偏移或其他意外晃動。除了影片,Generative Extend 還能平滑編輯音訊,音效可擴展達 10 秒,但對話或音樂沒法用。

▲ Generative Extend 音訊擴展示範。

如果想再省點力氣,可用 Text-to-Video 直接產生影片。與前輩 Runway 和 OpenAI Sora 一樣,使用者只需輸入想要影片的文字描述,就能以「真實電影」、「3D 動畫」和「定格動畫」等風格產生影片。以下是用 Text-to-Video 產生影片:

▲ 提示:無人機飛越廣闊的紅色火星景觀,從腳下飛馳而過,當太陽升起,地平線是紅色的。鏡頭結尾,太陽從地平線升起。

▲ 提示:電影特寫和夜晚街道中央一位老人的肖像細節。燈光氣氛沉悶,充滿戲劇性。顏色等級為藍色陰影和橙色高光。男人有極逼真的細節皮膚紋理和明顯的毛孔。動作微妙柔和。相機不動。膠片顆粒。老式變形鏡頭。

▲ 提示:墨西哥美麗柔和天井內拍攝視角。水清澈湛藍,傍晚陽光下閃閃發光。顏色是溫暖和神奇的魔幻風格。高品質,電影感。

除了逼真電影般視覺影像,Text-to-Video 還支援產生「抽象」畫面。如產生火焰、水、漏光和煙霧等元速,並覆蓋疊加到現成影片,增加視覺深度和趣味性。

▲ 提示:黑色背景的電影漏光,有機質感,逼真。

▲ 上述影片與現有影片合成後片段。

Text-to-Video 產生影片還可用「相機控制」細節處理,能模擬真實相機角度、運動和拍攝距離等。

Image-to-Video 功能更進一步,使用者創作時添加「參考圖像」,產生更貼近使用者想像的影片。創作者可用一張圖或照片出發,用 Image-to-Video 製作「B-roll」(指除主要內容 A-roll 外的輔助素材)。使用者可上傳影片單幀,讓 Image-to-Video 補足缺失幀,創造完整特寫。

▲ 提示:花朵在風中搖曳,一隻美麗蝴蝶落在一朵花上。

「眾所周知,影片不能 P,所以一定是真的。」

但 Image-to-Video「cyber 重拍」讓這句話變成過去式,宛如「上帝之手」,直接修改影片人物動作等:

▲ 原片段與修改後。提示:一隻戴手套的太空人手進入畫面,拔掉一條黃色電纜,有電影感。

Text-to-Video 和 Image-to-Video 產生影片最多僅 5 秒,品質最高 720p 和每秒 24 幀,產生時間約 90 秒,Adobe 正在開發「渦輪模式」縮短時間。

但影片品質不足使用戶無法用 Firefly Video Model 做出完整電影,暫時只能當成輔助工具。Adobe 強調,Firefly Video Model 只會在許可內容(如 Adobe Stock)和公共領域訓練模型,不會用客戶提供內容。

用 Firefly Video Model 建立或編輯影片可嵌入憑證,為創作者和作品提供出處,有助聲明 AI 用法和所有權權益,確保「商業安全」。感興趣讀者可加入 Adobe Firefly Video Model 體驗候補名單

(本文由 愛范兒 授權轉載;首圖來源:Adobe Firefly

延伸閱讀:

想請我們喝幾杯咖啡?

icon-tag

每杯咖啡 65 元

icon-coffee x 1
icon-coffee x 3
icon-coffee x 5
icon-coffee x

您的咖啡贊助將是讓我們持續走下去的動力

總金額共新臺幣 0
《關於請喝咖啡的 Q & A》