Nvidia 推出 ADA 自適性鑑別增強技術,可以少量資料訓練 AI

作者 | 發布日期 2020 年 12 月 09 日 8:15 | 分類 AI 人工智慧 Telegram share ! follow us in feedly


Nvidia 開發了一種用於訓練生成對抗網路(Generative Adversarial Network, GAN)的新方法,有朝一日可以使該網路適用於更多類型的任務。在開始探究 Nvidia 的工作之前,先了解一下 GAN 的運作原理會   有所幫助。每個 GAN 都由兩個相互競爭的神經網路組成:生成網路(Generator)和鑑別網路(Discriminator)。 

在兩個對抗網路中,其中一個演算法的目標是建立新圖像,另一個則會檢查數以千計的樣本圖像。然後,它會使用這些數據來「指導」其對抗網路。為了創建始終如一的可信結果,傳統 GAN 需要 5 萬到 10 萬張左右的訓練圖像。如果數量太少,它們往往會遇到「過度擬合」(Overfitting)的問題。在這種情況下,鑑別網路沒有足夠的基礎來有效地指導生成網路。

傳統資料增強法會衍生GAN網路濫用「失真」的問題

過去,AI 研究人員試圖解決此問題的常見方法就是使用「資料增強法」(Data Augmentation)。再次以圖像演算法為例,在沒有太多材料可用的情況下,他們將嘗試透過建立可用材料的「失真」副本來解決該問題。在這種情況下,失真可能意味著裁剪、旋轉或翻轉圖像。這裡的想法是網路絕不會看到完全相同的圖像兩次。

這種方法的問題在於,這將導致 GAN 將學會模擬這些失真,而不是創建新的圖像。NVIDIA 新的「自適性鑑別增強技術」(Adaptive Discriminator Augmentation, ADA)方法仍然會使用資料增強法,但會自適應地這麼做。它不會在整個訓練過程中讓圖像失真,而是有選擇地並剛剛好地加以失真化,進而讓 GAN 避免過度擬合的問題。

NVIDIA 方法的潛在結果可能比你想像的要有意義。訓練 AI 編寫新的純文字冒險遊戲很容易,因為演算法可使用的材料夠多。但對於研究人員可以向 GAN 尋求幫助的許多其他任務來說,情況並非如此。例如,精確地訓練演算法以發現罕見的神經性腦部病變極其困難,這是因為它太罕見了。但是,透過 NVIDIA ADA 方法訓練的 GAN 網路可以解決這樣的問題。另外一個好處是,醫生和研究人員可以更容易地分享他們的研究與發現,因為他們的工作是基於 AI 建立的圖像,而不是真實世界裡的病患。NVIDIA接下來會在即將於 12 月 6 日舉行的神經資訊處理系統大會(NeurIPS)上分享有關其新 ADA 技術的更多資訊。

(首圖來源:Nvidia