Deep Learning論文筆記之（八）Deep Learning最新綜述

Deep Learning論文筆記之（八）Deep Learning最新綜述

zouxy09@qq.com

http://blog.csdn.net/zouxy09

 

       自己平時看了一些論文，但老感覺看完過後就會慢慢的淡忘，某一天重新拾起來的時候又好像沒有看過一樣。所以想習慣地把一些感覺有用的論文中的知識點總結整理一下，一方面在整理過程中，自己的理解也會更深，另一方面也方便未來自己的勘察。更好的還可以放到部落格上面與大家交流。因為基礎有限，所以對論文的一些理解可能不太正確，還望大家不吝指正交流，謝謝。

 

         本文的論文來自：

Bengio, Y., Courville, A., & Vincent, P. (2012). Representation Learning: A Review and New Perspectives。

         這是一篇Deep Learning比較新的綜述。但是好長啊，讀完了也好多不懂，之前邊讀邊翻譯了前面兩節，先擺上來。後面有時間再更新後續的了。另外，因為水平有限，有些地方翻譯和理解可能有錯誤，還望大家指正。謝謝。

       另外，對於Deep Learning這裡有個reading-list，感覺很不錯。大家可以參考裡面的list來學習。

http://deeplearning.net/reading-list/

 

         下面是自己對其中的一些知識點的理解：

        

《Representation Learning: A Review and New Perspectives》

摘要

       機器學習演算法的成功主要取決於資料的表達data representation。我們一般猜測，不同的表達會混淆或者隱藏或多或少的可以解釋資料不同變化的因素。儘管特定的領域知識可以有助於設計或者選擇資料的表達，但通過一般的先驗知識來學習表達也是有效。而且，人工智慧AI的要求也迫使我們去尋找更強大的特徵學習演算法去實現這些先驗知識。

       本文回顧非監督特徵學習和深度學習領域的一些近期工作，包括機率模型的發展、自動編碼機、流行學習和深度網路。通過這些分析，可以激發我們去思考一些長久以來尚未解決的問題，例如如何學習好的表達？如何選擇適合的目標函數以便於計算表達？還有表達學習、密度估計和流行學習他們之間是否具有一定的幾何聯絡？

 

1、介紹

       眾所周知，機器學習方法的效能很大程度上取決於資料表達（或者特徵）的選擇。也正是因為這個原因，為了使得機器學習演算法有效，我們一般需要在資料的預先處理和變換中傾注大部分的心血。這種特徵工程的工作非常重要，但它費時費力，屬於勞動密集型產業。這種弊端揭露了目前的學習演算法的缺點：在提取和組織資料的區分性資訊中顯得無能為力。特徵工程是一種利用人的智慧和先驗知識來彌補上述缺點的方法。為了拓展機器學習的適用範圍，我們需要降低學習演算法對特徵工程的依賴性。這樣，就可以更快的構建新的應用，更重要的是，在人工智慧AI領域邁出了一大步。人工智慧最基本的能力就是能理解這個世界（understand the world around us）。我們覺得，只有當它能學會如何辨別和解開在觀測到的低級感知資料中隱含的解釋性因素時才能達到這個目標。

       這篇文章主要講述表達學習representation learning的，或者說學習一種資料的表達使得提取對構建分類器或者預測器有用的資訊更加容易。以機率模型為例，一個好的表達總能捕捉觀測輸入資料的隱含解釋性因素的後驗機率分布。一個好的表達作為監督預測器的輸入也是有用的。在表達學習的那麼多不同的方法中，本文主要聚焦在深度學習方法：通過組合多個非線性變換，以得到更抽象和最終更有效表達。這裡，我們綜述這個快速發展的領域，其中還會強調當前進展中的特定問題。我們認為，一些基本問題正在驅動該領域的研究。特別的，是什麼導致一種表達優於另一種表達？我們應該怎樣去計算它的表達，換句話來說就是，我們應該如何進行特徵提取？還有就是為了學習好的表達，怎樣的目標函數才是適合的？

 

2、我們為什麼要關心表達學習？

         表達學習（亦被江湖稱作深度學習或者特徵學習）已經在機器學習社區開闢了自己的江山，成為學術界的一個新寵。在一些頂尖會議例如NIPS和ICML中都有了自己的正規軍（研究它的workshops），今年（2013）還專門為它搞了一個新的會議，叫ICLR（International Conference on Learning Representations），可見它在學術界得到的寵愛招人紅眼。儘管depth（深度）是這個神話的一個主要部分，但其他的先驗也不能被忽視，因為有時候，先驗知識會為表達的學習獻上一臂之力，畫上點睛之筆，更容易地學習更好的表達，這在下一章節中將會詳細討論。在表達學習有關的學術活動中最迅速的進展就是它在學術界和工業界都得到了經驗性的顯著性的成功。下面我們簡單的聚焦幾點。

 

2.1、Speech Recognition and Signal Processing語音辨識與訊號處理

         語音也是神經網路誕生時其最早的一個應用之一，例如卷積（或者時延）神經網路（Bengio在1993年的工作）。當然，在HMM在語音辨識成功之後，神經網路也相對沉寂了不少。到現在，神經網路的複活、深度學習和表達學習的運用在語音辨識領域可謂大展拳腳，重展雄風，在一些學術派和工業派人士（Dahlet al., 2010; Deng et al., 2010; Seide et al., 2011a; Mohamedet al., 2012; Dahl et al., 2012; Hinton et al., 2012）的努力下取得了突破性的成果，使得這些演算法得到更大範圍的應用，並且實現了產品化。例如，微軟在2012年發布了它們的語音辨識MAVIS (Microsoft Audio Video Indexing Service)系統的一個新版本，這個版本是基於深度學習的（Seide et al., 2011a）。對比現有的一直保持領先位置的高斯混合模型的聲學建模方法，他們在四個主要的基準測試集中把錯誤率降低了30%左右（例如在RT03S資料庫中從 27.4%的錯誤率降到18.5%）。在2012年，Dahl等人再次書學神話，他在一個小的大詞彙量語音辨識基準測試集中（Bing移動商業搜尋資料庫，語音長40小時）的錯誤率降到16%與23%之間。

         表達學習演算法還被應用的音樂方面上，在四個基準測試集中，比當前領先的polyphonic transcription (Boulanger-Lewandowskiet al., 2012)在錯誤率上取得了5%到30%之間的提升。深度學習還贏得了MIREX (Music Information Retrieval)音樂資訊檢索競賽。例如2011年的音頻標註audio tagging上(Hamelet al., 2011)。

 

2.2、Object Recognition目標識別

         在2006年，深度學習的開始，主要聚焦在MNIST手寫體映像分類問題上（Hinton et al.,2006; Bengioet al., 2007），它衝擊了SVMs在這個資料集的霸主地位（1.4%的錯誤率）。最新的記錄仍被深度網路佔據著：Ciresanet al.(2012)聲稱他在這個任務的無約束版本（例如，使用卷積架構）的錯誤率是0.27%，為state-of-the-art。而Rifaiet al.(2011c)在MNIST的knowledge-free版本中保持著0.81%的錯誤率，為state-of-the-art。

         在最近幾年，深度學習將其目光從數字識別移到自然映像的目標識別，而最新的突破是在ImageNet資料庫中把領先的26.1%的錯誤率拉低到15.3% (Krizhevskyet al., 2012)。

 

2.3、Natural Language Processing自然語言處理

         除了語音辨識，深度學習在自然語言處理中也有很多應用。symbolic 資料的分布式表達由Hinton在1986年引入，在2003年由Bengio等人在統計語言模型中得到第一次的發展，稱為神經網路語言模型neural net language models (Bengio,2008)。它們都是基於學習一個關於每個單詞的分布式表達，叫做word embedding。增加一個卷積架構，Collobertet al.(2011)開發了一個SENNA系統，它在語言建模、部分聲控標籤、chunking（節點識別）、語義角色標記和句法分解中共用表達。SENNA接近或者超於目前的在這些任務中的當前領先方法。但它比傳統的預測器要簡單和快速。學習word embeddings可以以某種方式與學習映像表達結合，這樣就可以聯絡文本和映像。這個方法被成功運用到Google的Image Search上，利用大量的資料來建立同一空間中映像與問題之間的映射(Weston et al.,2010)。在2012年，Srivastava等將其拓展到更深的多模表達。

         神經網路語言模型也被通過在隱層中增加recurrence來改進(Mikolovet al., 2011)。改進效果比當下領先的平滑n-gram語言模型不僅在複雜度上降低，還降低了語音辨識的錯誤率（因為語言模型是語音辨識系統的一個重要組成部分）。這個模型還被應用到統計機器翻譯上面 (Schwenk et al., 2012; Leet al., 2013)，改進了複雜度和BLEU分數。遞迴自動編碼機Recursive auto-encoders（產生recurrent網路）在全句釋義檢測full sentenceparaphrase detection上也達到了現有的領先水平，是以前技術的兩倍F1分數(Socheret al., 2011a) 。表達學習還用到了單詞歧義消除word sense disambiguation上 (Bordeset al., 2012)，取得了準確率從67.8% 到 70.2%的提升。最後，它還被成功運用到sentimentanalysis (Glorotet al., 2011b; Socher et al., 2011b)上，並超越現有技術。

 

2.4、Multi-Task and Transfer Learning, Domain Adaptation多任務和遷移學習，域自適應

        遷移學習（傳統的機器學習假設訓練資料與測試資料服從相同的資料分布。如果我們有了大量的、在不同分布下的訓練資料，完全丟棄這些資料也是非常浪費的。如何合理的利用這些資料就是遷移學習主要解決的問題。遷移學習可以從現有的資料中遷移知識，用來協助將來的學習。遷移學習（Transfer Learning）的目標是將從一個環境中學到的知識用來協助新環境中的學習任務。）是指一個學習演算法可以利用不同學習任務之間的共性來共用統計的優點和在任務間遷移知識。如下面的討論，我們假設表達學習演算法具有這樣的能力，因為它可以學習到能捕捉隱含因素的子集的表達，這個子集是對每個特定的任務相關的。1所示。這個假設被很多的經驗性結果所驗證，並且展現了表達學習在遷移學習場合中同樣具有優異的能力。

        圖1：表達學習發現了隱含的解釋性因素（中間隱層紅色的點）的。一些解釋了輸入（半監督設定），一些解釋了每個任務的目標。因為這些子集間會重疊，所以會貢獻統計的優點，利於generalization泛化。

         給人印象深刻的是在2011年的兩個遷移學習的挑戰賽，都被表達學習演算法奪魁。首先在由ICML2011一個workshop舉辦的Transfer Learning Challenge中，由無監督逐層預訓練方法unsuper-vised layer-wise pre-training (Bengio, 2011; Mesnil et al.,2011)奪得。第二個挑戰賽同年舉辦，被Goodfellow et al. (2011)奪得。在相關的domain adaptation方面，目標保持不變，但輸入分布會改變(Glorot et al., 2011b; Chen et al., 2012)。在多任務學習方面multi-task learning，表達學習同樣表現出了其獨特的優越性（Krizhevskyet al.(2012); Collobertet al.(2011)），因為它可以在任務間共用因素。

 

未完待續……