KKStream 與台大產學合作,訓練 AI「看劇」快速選取吸睛劇照

作者 | 發布日期 2019 年 04 月 02 日 18:57 | 分類 AI 人工智慧 , 數位內容 , 電子娛樂 follow us in feedly

KKBOX 集團旗下串流影音技術公司 KKStream 與台大產學合作,共同開發智慧劇照挑選系統「Stiller」,運用 AI 人工智慧技術判斷主角、自動挑選與擷取吸睛劇照,有效提升影片點擊率,未來更有望延續研究,發展出自動剪輯影片預告、製作濃縮影片的能力。 



以往影片縮圖多靠人工作業挑選影片劇照,不僅過程耗時費力,也不一定吸引得住觀眾目光。KKStream 攜手台大合作「視訊理解」(Video Understanding)研究專題,聚焦挑選劇照的實務應用,從演員臉部表情到動作場景,透過不同面向強化 AI 對視訊理解的能力。

雙方所共同開發的 Stiller 智慧劇照挑選系統,藉由串流影音服務 KKTV 支援豐富的劇庫資料,並整合影像辨識與視覺感知技術,訓練 AI「看劇」、學習判斷與挑選吸睛劇照。現階段已經能夠判讀重要影片情景挑選照片,平均每集影片只需 60 秒就能完成劇照擷取作業,大幅降低原本由美術人員逐格截圖的作業時間,而且所挑選出的劇照效果吸睛,能提高觀眾點擊觀看的意願。

▲ 智慧劇照挑選系統開發示意圖,劇照愈吸睛愈有助於提高觀看意願

參與系統設計與發表的曹峻寧同學表示,Stiller 結合關鍵影格擷取(Key-Frame Extraction)與影像美感評估(Image Aesthetic Assessment)兩大技術,可從影片中挑選兼具代表性與吸引力的劇照。透過 AI 技術,Stiller 系統經三集訓練就能以演算法判斷男女主角、自動擷取精彩劇照,期望未來能有機會延續研究,進一步開發自動剪輯預告或濃縮影片的能力,讓 AI 不只看見畫面,還能看懂影片。

台大多媒體處理及通信實驗室教授陳宏銘指出,多媒體科技在影音串流時代的重要性有目共睹,學術研發促進產業發展,正是產學交流的初衷。KKStream 總裁蔡怡仁也感謝台大積極響應,並表示雙方透過產學合作,為學術研究和產業應用創造更多可能性。

如今雙方合作的研究成果大放異彩,已獲國際電機電子工程師學會(IEEE)邀請,近日於美國加州聖荷西 MIPR 國際會議發表。未來 Stiller 系統除了運用在偶像劇,也將持續延伸至不同類型的影片、拓展應用層面,可望在串流影音急速發展的時代當中,發展為不可或缺的關鍵技術。

(首圖、圖片來源:KKStream。圖片右起:台大多媒體處理及通信實驗室教授陳宏銘、曹峻寧同學。)

延伸閱讀: