（4）Neural Networks: Representation

以下內容來源自coursera上的machine learning，同時參考了Rachel-Zhang的部落格(http://blog.csdn.net/abcjennifer)

在講完了logisitc regression 和 linear regression的兩種常用方法後，考慮到一些弊端，我們需要進一步瞭解其他的機器學習方法，

摘要：

（一）（二）:是讓我們瞭解神經網路的一些基本概念;

（三）（四）Neuronsand
the Brain I & II:神經網路每一層的工作原理及運算公式.（本節最重要的部分）

（五）（六）Examplesand
Intuitions I
& II：神經網路怎樣進行複雜邏輯運算，即complex hypothesis

（七）

MulticlassClassification：

前面講的都是針對二類的，多類的應該這麼辦？

本文：

***************************************************************************************************************************************

（一）Nonlinear hypothesis：

前面講的linearregression和logistic regression都是針對特徵數比較小的。但是，如果特徵數比較大呢？如果還用上述兩種方法就會顯得力不從心，因為不僅運算得慢，還有可能overfitting。

這張圖片的boundarydecision是粉紅色的曲線，如果用logistic regression就有很大可能造成overfitting。

 

總之，對於某些情況，前面講的兩種方法已經不適用於分類的。那用什麼呢？先給出答案：神經網路

***************************************************************************************************************************************

（二）Neuronsand the Brain

該節講了神經網路的起源發展衰退而今又興起等等。又給了一些amazing的圖片，應用等。有興趣的同學，可以自己上網查查這些好玩的東西。

（因為沒有實質性的內容，就是給一個概念，所以就沒有了。）

***************************************************************************************************************************************

（三）Neuronsand the Brain I   & （四）Neurons and the Brain II

這裡不講神經網路和我們人腦作用的相似之處。直接給出神經網路是如何做的。

 

1. 給出一個最簡單的logistic uint：

（這裡只有兩層，第一層就是x0，x1,x2,x3,稱為輸入層；第二層就是棕色的圈，稱為輸出層）

2.下面給出最基本的三層模型，並具體看看如何一層一層往下做的。

（注意下面的兩幅圖是神經網路剛開始比較重要的圖，它們說明了具體的工作原理！要是沒看懂的話，請務必一遍一遍看直到看懂！！）

我們先不講公式是如何做的。先來瞭解上座標，下座標以及的含義。

（1）.首先記住，任何字母的上座標就是代表著第幾層！（如果是1代表輸入層，2代表隱藏層等）。

（2）.下座標，代表著某一層的第幾個。

（3）.是一個矩陣(矩陣的大小由第j層和第j+1層的個數決定！)。細心的同學會發現，這個的下座標不僅僅是一個數字，是兩個數字組成的。其實這些數字可以理解成數組中的橫座標和縱座標，只不過這裡的橫座標從1開始，縱座標從0開始（為什麼從0開始呢？後面的那張圖我們會講到）

講完了三者的含義，就應該分析公式是如何推出來了。

先來解釋上面提到的疑惑：為什麼縱座標從0開始？

這張圖左上方的和上面左上方的那張圖，實質上是一樣的，只不過在每一層的最上面加了一個1，這就像logistic regression一樣在每一個特徵前面都加一個1一樣的道理。其實這就是上面我說的為什麼縱座標從0開始.

***************************************************************************************************************************************

知道了每一層的工作原理，來看看為什麼神經網路可以處理複雜的非線性hypothesis 

（五）Examplesand Intuitions I  （六）Examples and Intuitions II

各位都知道或，與，非操作吧。

 

***************************************************************************************************************************************