深度學習入門誤區_深度學習

定位：深層學習在哪

1、深層學習需要什麼。

數學

線性代數：是有關任意維度空間下事物狀態和狀態變化的規則。

概       率：是用來衡量我們對事物在跨時間後不同狀態的確信度。

編程

操作矩陣

實現數學想法

學習的痛點

其實就是學習尋找關聯函數f的過程。

痛點：需要在未見過的任務上表現良好

有一種極端情況：

記憶：記住所有的高考題和對應答案。

實際：無法被窮盡，各式各樣的變體。

  

關於函數f的尋找

維度問題：

維度越大，我們越無法獲得所有的情況。

面臨沒見過的情況，一般是將左右的情況平均一下。但是這種方法在高維資料下並不適用。

分布式表達：

原本需要8個不同情況，現在只需要6個。因為8個變體是又3種因素組合而成的。

數字標記法：解決變化的因素。

橢圓這個factor實際上也是有變體的，可以以相同的思路繼續拆分，繼續降低訓練所需資料量。

深層VS淺層

分布式表達是將變體拆分成因素。但是如果用無限節點的淺層網路，所拆分的變體並不會在不同樣本之間形成共用。

而深層神經網路，由於拆分的變體可以在不同樣本間共用，在淺層網路中只負責學習自己的關聯，而在深層網路中，那些共用相同因素的樣本也會被間接的訓練到。換句話說，深層的優勢在於節省了訓練所需的資料量。

關鍵：因素的共用

深層神經網路

學習的過程是因素間的關係的拆分，關係的拆分是資訊的回卷，資訊的回卷是變體的消除，變體的消除是不確定性縮減。

自然界兩個固有的先驗知識：

並行：新狀態是由若干舊狀態並行組合形成。

迭代：新狀態由已形成的狀態再次迭代形成。

一些技術

多任務學習muti-task learning，利用的是因素共用，多個任務共用相同的知識，這樣就會更容易確定我們真正想要的關聯f，而排除掉那些只符合訓練資料集，而不符合測試資料集的關聯。

joint learning，end-to-end learning，是因素共用+因素拆分的聯合應用。

通過縮減人工預先處理和後續處理，儘可能使模型從原始輸入到最終輸出，給模型更多可以根據資料自動調節的空間，增加模型的整體契合度。

人工智慧對我們的影響

from: http://mp.weixin.qq.com/s/TwB_mPKfM_hKmJwhm1avYQ