NVIDIA 公佈了一套能以相對少量數據來訓練 AI 的方案

如果你對機器學習領域有一定了解的話，多半聽說過生成式對抗網路（GAN，generative adversarial networks）這種東西。它是近年無監督機器學習最具前景的方法之一，簡單來說，就是藉由框架中生成器（generator）和判別器（discriminator）之間的相互博弈、學習來輸出結果。生成式對抗網路的一大應用範例是生成圖片，在訓練過程中生成器會根據接收到的隨機噪聲來生成圖片，而判別器則需要判斷圖片是否真實。前者的目標是盡量騙過後者，後者則需要盡可能區分真圖和假圖。

在理想狀態下，隨著學習的深入，生成器將可以做出以假亂真的圖片。當判別器難以判定圖片真假的時候，我們便能得到一個可用於生成足夠真實圖片的模型。不過需要注意的是，若想要達到比較理想的結果，一般的生成式對抗網路會需要 5 萬到 10 萬張訓練樣本。如果樣本過少的話，則會出現所謂的過度擬合問題。結果就是訓練出來的模型不具備泛化性，其效果往往只能體現在原有的訓練樣本上，面對新樣本表現便會大打折扣。

為了解決過度擬合，數據擴增是業界目前採用的主要方法之一。以圖片為例，你可以透過翻轉、平移、縮放、裁切、模糊、變色、調節灰度等多種方法來擴增圖像樣本。但是這種辦法的潛在缺點，是對抗網路可能會變得更傾向於模仿你在圖片上所做的修改，並非真正去生成新的圖像，而 NVIDIA 新公佈的自適應判別器擴增方案（ADA，adaptive discriminator augmentation）則能有效避免這種情況的發生。

NVIDIA 的這套辦法仍會對數據進行擴增，但在執行過程中它有一定的選擇性。根據之前發表的論文，NVIDIA 在分析後將圖片數據擴增的變換方式分為像素層、幾何、顏色、圖像空間濾波、噪聲和摳圖這幾個類別。他們在測試後，認為像素層、幾何及顏色上的變換相對來說對增加訓練數據更為有效，並最終決定將其採用到自適應判別器擴增方案的模型設計當中。在訓練時這套方案可以動態抑制過度擬合，從而讓整個模型變得更加穩定。

在訓練樣本數據不足的前提下，NVIDIA 稱自己的這套設計能大大提升生成式對抗網路的學習結果品質。在它的幫助下，一些過去未必能真正利用好對抗網路技術的領域也有望尋求到一些新的突破。比如說疑難雜症對應的醫學圖像，這類資料時至今日都非常有限。原本生成式對抗網路是沒有辦法基於其進行有效訓練的，但自適應判別器擴增方案的出現，就一下子增加了生成樣本實際應用的可行性。在接下來的 NeurIPS 大會中，NVIDIA 還會分享更多相關細節，對這方面感興趣的讀者不妨多多關注一下。