貝葉斯產生對抗網路（GAN）_貝葉斯

轉自新智元：http://www.sohu.com/a/144843442_473283

原標題：貝葉斯產生對抗網路（GAN）：當下效能最好的端到端半監督/無監督學習_搜狐科技_搜狐網

新智元報道

作者：弗格森

【新智元導讀】康奈爾大學研究員結合貝葉斯和對抗產生網路，在6大公開基準資料集上實現了半監督學習的最佳效能，同時，這也是邁向終極無監督式學習的一大步。研究提出了一個實用的貝葉斯公式，用GAN來進行無監督學習和半監督式學習。這種新提出的方法，簡潔性是其最大的優勢——推理是直接進行的、可解釋的、穩定的。所有的實驗結果的獲得，都不需要參數匹配，正則化或者任何的特別（ad-hoc）技巧。

康奈爾大學的 Andrew Gordon Wilson 和 Permutation Venture 的 Yunus Saatchi 最近發布了一項對無監督和半監督式學習的研究，名為貝葉斯產生對抗網路（Bayesian GAN）。

深度學習對大量標籤資料的依賴是顯而易見的，這也成為抑制深度學習發展的一個潛在要素之一。長久以來，科學家們都在探索使用盡量少的標籤資料，希望實現從監督式學習到半監督式學習再到最後的無監督式學習的轉化。

本文的作者在文章中也提到，“自然高維資料的有效半監督學習對於減少深度學習對大量標籤資料集的依賴性至關重要。”

一般情況下，我們是沒有帶標籤的資料的，除非以高成本或者通過人力勞動或通過昂貴的儀器（如用於自主駕駛的雷射雷達）來實現的。

目前，無監督學習離我們還有一段距離，但是半監督式學習已經成為最新的研究熱點。特別是進入2017年以來，對抗產生網路（GAN）和自動編碼等技術不斷獲得進步，都佐證同時推動了半監督學習領域的發展。

對於人工智慧終極目標之一——無監督學習來說，半監督學習也提供了一個實用和可量化的機制，以評估無人監督學習中的最新進展。

貝葉斯對抗產生網路：常見基準上能夠提供最好的半監督學習量化結果

我們先來看一看文章的摘要：

作者提到，產生對抗網路能在不知不覺中學習映像、聲音和資料中的豐富分布。這些分布通常因為具有明確的相似性，所以很難去建模。

他們在研究中提出了一個實用的貝葉斯公式，在實踐中GAN來進行無監督學習和半監督式學習。在這一架構之下，使用了動態梯度漢密爾頓蒙特卡洛（Hamiltonian Monte Carlo）來將產生網路和判別網路中的權重最大化。其獲得結果的方法非常的直接，並且在不需要任何標準的幹預，比如特徵匹配或者mini-batch discrimination的情況下，都獲得了良好的表現。

通過對產生器中的參數部署一個具有表達性的後驗機制（posteriors）。貝葉斯GAN能夠避免模式碰撞（mode-collapse），產生可判斷的、多樣化的候選樣本，並且提供在既有的一些基準測試上，能夠提供最好的半監督學習量化結果。比如，SVHN, CelebA 和 CIFAR-10。效果遠遠超過 DCGAN, Wasserstein GANs 和 DCGAN 等等。

機器學習的關鍵裡程碑：高維自然訊號產生模型的建立

通過學習高維自然訊號，如映像，視頻和音頻，進而建立一個很好的產生模型，長久以來一直是機器學習的關鍵裡程碑之一。在深層神經網路學習能力的賦能之下，產生對抗網路（GAN）（Goodfellow等，2014）和變分自動編碼器（Kingma和Welling，2013）使AI 領域離實現這一目標更近了。

GAN通過深層神經網路轉換白色雜訊（white noise），以從資料分布中產生候選樣本。一個判別器會以一種監督式的方法，來學習如何調整其參數，以正確地區分一個特定的樣本是來自產生器或者真實的資料分布。同時，產生器會更新其參數，以更好地“騙過”判別器。一旦產生器有了足夠的容量，它就能從感興趣的資料分布中近似地抽取CDF、反CDF組合。

由於設計的卷積神經網路為映像提供了合理的指標（不同於例如高斯似然，Gaussian likelihoods），使用卷積神經網路的GAN以反過來提供令人信服的，在映像上的隱含分布。

雖然GAN有著極大的影響力，但是他們的學習目標會導致模式碰撞（mode

collapse），也就是，產生器只儲存了少量的幾個訓練樣本，來騙過判別器。這種方法論是對過去的高斯混合中最大似然密度估計的一種“懷舊”：通過每一個組件的變化的碰撞，我們可以獲得一些永久性的相似性，然後把這些相似性儲存在資料集中，但是，這些相似性對於可產生的密度估計來說是無用的。

此外，在GAN的訓練過程中，需要有大量的幹預，其中包括，特徵匹配、標籤梳理和mini-batch discrimination。為了緩解這些在實踐中的困難，最近許多研究都著眼於在標準的GAN訓練中，用可轉化的衡量標註，比如f-fivergences和Wasserstein分歧來替換Jensen-Shannon 分歧。

這些研究中，很多都選擇了引入多變的正則化矩陣，以將相似性密度估計最大化。但是，正如選擇爭取的正則化矩陣非常困難一樣，決定自己想要在GAN的訓練中使用的“分歧”，也同樣很難。

作者的想法是，GAN能夠通過完整的機率推理來進行提升。確實，在產生器上的參數中的一個後驗分布，可以是寬泛的和高度多模式的。總的來說，GAN的訓練是基於最小-最大化最佳化的，通常會對後驗機制在整個網路的權重進行衡量，把其作為一個單一節點上的一個聚焦點。

這樣一來，即便產生器不對訓練樣本進行儲存，我們依然能期待，產生器中的樣本與資料分布中得到的樣本是完全相關的。

此外，在網路權重中的後驗器（posterior）中的每一個模型都與更廣泛的不同的產生器形成呼應，彼此都有自己極具意義的闡釋。通過完全呈現產生器和判別器上的參數中的後驗分布，我們能夠更加準確地為真實的資料建模。隨後，推測的資料分布能夠被用於準確和高資料效率和半監督式的學習。

這種新提出的方法，簡潔性是其最大的優勢——推理是直接進行的、可解釋的、穩定的。確實，所有的實驗結果的獲得，都不需要參數匹配，正則化或者任何的特別（ad-hoc）技巧。

相關代碼將很快公開。

效果：在6大資料集上的驗證

在本研究中，作者提出了一個簡單的貝葉斯公式，用於GAN中的端到端的無監督和半監督學習。在這個架構內，使用動態梯度Hamiltonian Monte Carlo將產生器和判別器的權重posteriors進行邊際化。作者對從產生器中獲得的資料樣本進行了分析，在產生器的權重中，展示了跨越幾個獨特模型的探索。還展示了在學習真正的分布的過程中，資料和迴圈的有效性。

作者稱，在幾個著名的基準測試，比如SVHN, MNIST, CIFAR-10 和 CelebA中展示了最好的半監督學習表現。

上圖是貝葉斯GAN在幾個資料集上與DCGAN、W-DCGAN等模型的效能比較。

MINST 是一個用於評估新的機器學習模型的著名基準，包含了60k（50k訓練和10k測試）手寫數位標籤映像。

http://yann.lecun.com/exdb/mnist/

MINST 最早的作者是 Chris Burges ， Corinna Cortes ，後由Yann LeCun、Corinna Cortes 和 Christopher J.C. Burges共同完成。

作者共使用了6個著名的公開資料集來測試貝葉斯對抗產生網路模型：synthetic, MNIST, CIFAR-10, SVHN 和 CelebA。每一個資料集有四個不同的標籤樣本集。以上分別是CIFAR-10, SVHN 和 CelebA的樣本映像。

未來發展方向：貝葉斯深度學習的持續探索

通過在產生器的加權參數進行豐富的多模態分布探索，貝葉斯GAN可以捕獲各種各樣的互補和可解釋的資料表達。作者的研究已經表明，這樣的表達可以使用簡單的推理程式來實現半監督問題的優越效能。

圖4：關於迭代次數的函數測試精度。 我們可以看到，在大約1000次SG-HMC迭代之後，採樣器混合得很好。我們還看到，每次迭代，SG-HMC採樣器比其它方案更有效地學習資料分發。

在將來，可以通過估計機率GAN的邊際相似性（marginal likelihood），根據參數分布將其整合在一起。邊際相似性提供了自動學習超參數的自然效用函數（natural utility function），以及用於在不同GAN架構之間進行模型比較。人們還可以研究各種差異度量（如α分歧家族），用於確定性相似推論，以促進樣本中的熵。將貝葉斯GAN與非參數貝葉斯深層學習架構（如深度核心學習）相結合也是有趣的。我們希望我們的工作將有助於啟發對貝葉斯深度學習的持續探索。

關於GAN

新智元此前的報道：《【最詳盡的GAN介紹】王飛躍等：產生式對抗網路 GAN 的研究進展與展望》曾介紹：

產生式對抗網路 GAN (Generative adversarial networks) 是 Goodfellow 等在 2014 年提出的一種產生式模型。GAN 在結構上受博弈論中的二人零和博弈 (即二人的利益之和為零, 一方的所得正是另一方的所失) 的啟發, 系統由一個產生器和一個判別器構成。產生器捕捉真實資料樣本的潛在分布, 並產生新的資料樣本; 判別器是一個二分類器, 判別輸入是真實資料還是產生的樣本。 產生器和判別器均可以採用目前研究火熱的深度神經網路。GAN 的最佳化過程是一個極小極大博弈 (Minimax game) 問題, 最佳化目標是達到納什均衡 , 使產生器估測到資料樣本的分布。

2014 年提出 GAN 以來,各種基於 GAN 的衍生模型被提出, 這些模型的創 新點包括模型結構改進、理論擴充及應用等。

在當前的人工智慧熱潮下, GAN 的提出滿足了 許多領域的研究和應用需求, 同時為這些領域注入了新的發展動力。 GAN 已經成為人工智慧學界一個熱門的研究方向, 著名學者 LeCun 甚至將其稱為“過去十年間機器學習領域最讓人激動的點子”。目前, 映像和視覺領域是對 GAN 研究和應用最廣泛的一個領域，已經可以產生數字、人臉等物體對象，構成各種逼真的室內外情境, 從分割映像恢複原映像, 給黑白映像上色, 從物體輪廓恢複物體映像, 從低解析度映像產生高解析度映像等。此外, GAN已經開始被應用到語音和語言處理、電腦病毒 監測、棋類比賽程式等問題的研究中。

貝葉斯對抗產生網路論文地址：https://arxiv.org/pdf/1705.09558.pdf