能生出整季影集的 AI 來了!GPT-4 不只幫寫劇本,幾秒就製作好一集《南方四賤客》

作者 | 發布日期 2023 年 07 月 27 日 8:00 | 分類 AI 人工智慧 , 數位內容 , 軟體、系統 line share follow us in feedly line share
能生出整季影集的 AI 來了!GPT-4 不只幫寫劇本,幾秒就製作好一集《南方四賤客》


1997 年開播至今的動畫影集《南方四賤客》3 月剛播出第 26 季,不過說到下面這集,你可能沒有印象看過。

卡特曼有天從最近好萊塢抗議AI罷工事件得到啟發,突發奇想想做個專案:名叫「Queepi」的網路Deepfake服務,可幫影視作品角色換臉,解決好萊塢沒有新作品的危機。他找上Bizney公司,想請Bizney當天使投資人,卻被發言人告知「除非你能找到另一個願意投資你的人」。

卡特曼和小老弟Butters找上投資仲介商Andreessen,討論後決定找幾個演員談談肖像權合作。第一位是哈里遜·福特,但福特拒絕,因已和某個非常知名的科技巨頭簽訂類似合約。第二位是梅莉‧史翠普。史翠普先表明自己堅定站在罷工者這邊,接著以AI會模糊現實和虛假界線、搶走演員飯碗為由拒絕卡特曼。但她也神祕兮兮說和某個科技巨頭有約在先。

第三位是湯姆·克魯斯。湯姆·克魯斯說了卡特曼才知道,幾位大牌演員共同簽約對象就是伊隆‧馬斯克!湯姆·克魯斯沒有明確拒絕卡特曼,反而願意當中間人介紹馬斯克給卡特曼認識。馬斯克正在籌劃送一批知名演員上火星,美其名曰保護人類文化遺產,而湯姆·克魯斯在一邊幫說好話,馬斯克最後決定投資卡特曼這「改革娛樂產業」的專案。

結局是卡特曼開心跑去Bizney準備說服其加入,但得知老奸巨猾的馬斯克根本沒把他的專案放在心上,繼續去忙移民火星計畫了。這集標題名為「Queepi窘境」,看起來和《南方四賤客》其他集畫面風格都差不多,但驚人的是編劇、導演、剪接和配音,都是AI做的。

舊金山新創Fable Simulation最近發表「Showrunner」AI技術,能用既有影視作品(IP)基礎,產生使用者想要的作品。Fable Simulation成立於2018年,最早是Facebook(現Meta)旗下Oculus的部門,早期主要做VR電影專案,曾憑VR電影〈Henry〉拿下第一座艾美獎,後來又藉虛擬人Lucy主演的VR電影〈Wolves in the Walls〉再拿一座艾美獎。7月稍早虛擬人物Lucy還獲皮博迪獎。

不過現在Fable Simulation部分精力全放在探索AI產生內容。

「Lucy的問題在沒有過去,因她不是活人」,聯合創辦人暨執行長Edward Saatchi接受採訪時說:「她是虛擬人,但她無法說『我也有寵物,後來她死了,所以我知道那種感覺』這種話和真人連結。」使AI擁有自己的生活,這幾乎成為Fable Simulation的出發點。

Showrunner便是Fable Simulation研究AI的成果發表會。除了開頭提到的故事,Fable Simulation還用Showrunner產生幾個劇情相關的《南方四賤客》故事。其一是Bizney公司創造種族歧視機器人豬伴侶,造成公關大惡夢。

另一個故事是投資仲介Andreessen發現馬斯克綁架好萊塢知名演員到火星和他一起生活,並從1990年代就開始複製他們的影視作品。從論文看,Showrunner使用SHOW-1模型,基礎為OpenAI大語言模型GPT-4,圖片自定義擴散模型和多智慧體類比等訓練。如GPT-4主要影響類比智慧體(角色)並產生故事背景。

GPT-4訓練資料庫原本就有《南方四賤客》大部分影集,所以對每角色個性和語言風格都算了解,故這次無需客製。擴散模型方面,Fable Simulation從以往集數素材收集約1,200個人物和600張背景圖片組成綜合資料庫,為模型學習風格的原材料。經過擴散模型訓練,為每個新作品產生新角色和單獨背景,為之後拼接先準備。

多智慧體類比是讓角色智慧體真正「擁有自己生活」的關鍵,想像《西方極樂園》場景,角色等於可以相互訓練,到用戶這裡,操作介面就非常簡單。

使用者只需進入搭載Showrunner AI技術的SHOW-1模型,於《南方四賤客》大地圖選想當哪個角色,再選其他角色場景等,並輸入一段提示句,稍等片刻就會產生故事。開頭故事的提示是:

卡特曼聽說美國演員工會正在罷工,孩子擔心將來不會有新影視作品。卡特曼宣布商業創意:名叫Queepi的網路Deepfake服務。

干預程度也完全據使用者偏好而定。Fable Simulation稱用戶可用三種方式產生故事:一,SHOW-1自動創造,二是給一兩句提示,三是加入細節,逐個場景編輯對話並重新產生。使用者甚至還能讓自己當主角或放其他角色進去。

SHOW-1角色擴散模型允許使用者以圖像到圖像的Stable Diffusion,據自己長相創建角色,充當智慧體加入作品。使用者也可使用自己的聲音,因此用擴散模型創建使用者角色不是難事,Saatchi就把自己做成主角。

從最後效果看,新產生集數幾乎可「以假亂真」。以〈Queepi窘境〉為例,可能不最有趣,但開頭、轉折和結尾一應俱全,13個角色每人台詞都符合背景、個性、語言風格和動機,甚至交代地點的空鏡也拍得很好,不知情觀眾看了都很難想像這是AI作品。

這種跨越非比尋常。

從許多大模型表現看來,擅長的都是完成短期任務,就像可能幾天前使用者想靠大模型產生影片,還都要先用ChatGPT產生劇本、Midjourney或Stable Diffusion產生人物形象,再用Runway等影片工具做好畫面,最後再剪輯配樂。還沒一個模型能產生夠完整、有完整結構的長篇故事和影集。

更重要的是,AI智慧體可能從此像《西方極樂園》擁有棲身之地,它們有完整生命,可與其他AI對話、連結、產生故事等等等。Fable Simulation似乎不滿足藉他人IP產生《南方四賤客》新故事。稍早Saatchi宣布Fable Simulation將創建充滿AI角色的世界──由真人訓練,在虛擬世界生活。

「我們推出SHOW-1的目標是AGI」,Fable Simulation官方Twitter說:「AI真的活著,不像很多聊天機器人只在人類有需求時才出現。『AI人』能在模擬世界生活,並隨時間慢慢成長。」Fable Simulation還希望用戶像「那就是真人在生活」看待這些AI產生的影集。輝達首席AI科學家Jim Fan更興奮斷言「多智慧體模擬,將是新興智慧的下個前線」。

不過Fable Simulation風險是現在剛好處於好萊塢罷工風波中。7月中旬,繼編劇工會罷工兩個多月,演員工會接著罷工,抵制AI危機,可能導致60多年來美國影劇業最嚴重的癱瘓。Fable Simulation做的事,恰好一拳打在編劇演員最憤怒的那點上。

以《南方四賤客》來說,每集都要6天內完成──開會討論後編劇寫出劇本,交由動畫師、編輯、技術人員和音效人員團隊製作,一週工時高達100~120小時。但SHOW-1出現,不知道會有多少人丟了飯碗,甚至有媒體稱SHOW-1是「所有好萊塢工作者恐懼的總和」。

從社群網站評價看,網友對AI產生的《南方四賤客》評價頗為兩極化,支持者期待用這類工具改寫爛尾的《權力遊戲》,驚訝AI的模仿力,甚至預言能提高影視製片商的生產力;反對者認為AI才不懂影視業,只是竊取他人成果,是純粹的VC詐騙

潘朵拉的盒子一旦打開,就關不上了

或許出於輿論壓力,Fable Simulation反覆強調《南方四賤客》AI作品「僅供研究使用,我們不會開放用戶自己創作《南方四賤客》,因這不是我們的IP!」

Fable Simulation稱正與創作者合作,會在今年稍晚宣布基於原創IP的AI產生電視節目,包括太空探索模擬「獎金」,諷刺矽谷的「退出矽谷」,以及可玩性高的偵探模擬「查理木星」。

Saatchi似乎不太擔心Fable Simulation的未來,受訪時更對好萊塢罷工風波表示:

我們覺得推出時機正確。發表研究成果後,我們希望好萊塢工會能協商出強力保護措施確保創作者權益,同時智慧財產權擁有者也要弄清楚如何與商業化AI公司談判。

這次罷工是制定將來十幾年規則的最大槓桿時刻。

(本文由 品玩 授權轉載;首圖來源:The Simulation