深度學習筆記--啟用函數：sigmoid，maxout

在神經網路中引入啟用函數一個重要的原因就是為了引入非線性。 1.sigmoid

從數學上來看，非線性Sigmoid函數對中央區的訊號增益較大，對兩側區的訊號增益小。從神經科學上來看，中央區酷似神經元的興奮態，兩側區酷似神經元的抑制態，因而在神經網路學習方面，可以將重點特徵推向中央區，將非重點特徵推向兩側區。
函數形式為。它的優點是輸出範圍為(0, 1)，所以可以用作輸出層，用輸出值來表示機率。也叫做Logistic函數，有一個二分類的應用叫Logistic迴歸，用的就是sigmoid函數得到一個機率值。，另外其求導也很方便，求導後的結果為，。下面是sigmoid和其導數的函數映像：

我們可以發現sigmoid在x>>0時，函數值趨近1，在x<<0時，函數值趨近0。另外可以發現函數在兩端附近的梯度較小，這也是sigmoid的缺點，在這些x值處，梯度容易飽和，從而造成參數無法更新或者更新很慢。 2.tanh

tanh的形式為。基本性質同sigmoid沒有多少出入，只是將值對應到了[-1,1]這個區間。雖然也是非線性，依舊有梯度飽和的情況存在，但比sigmoid函數延遲了飽和期。其函數映像如下：
3.ReLu

ReLu也叫修正線性單元，是一種線性啟用函數。它的提出消除了前面所說的梯度飽和的情況，並且其梯度也很好求出。一般現在神經網路的啟用函數預設使用ReLu。表示為f(x) = max(0,x)。其函數映像為：

具有單側抑制的特性，在<0的地方抑制，其他的地方都啟用。 4.maxout

Maxout模型實際上也是一種新型的啟用函數，在前饋式神經網路中，Maxout的輸出即取該層的最大值，在卷積神經網路中，一個Maxout feature map可以是由多個feature map取最值得到。
maxout的擬合能力是非常強的，它可以擬合任意的的凸函數。但是它同dropout一樣需要人為設定一個k值。
為了便於理解，假設有一個在第i層有2個節點第（i+1）層有1個節點構成的神經網路。

啟用值 out = f(W.X+b); f是啟用函數。’.’在這裡代表內積;
那麼當我們對（i+1）層使用maxout（設定k=5）然後再輸出的時候，情況就發生了改變。

此時網路形式上就變成上面的樣子，用公式表現出來就是：
z1 = W1.X+b1;
z2 = W2.X+b2;
z3 = W3.X+b3;
z4 = W4.X+b4;
z5 = W4.X+b5;
out = max(z1,z2,z3,z4,z5);
也就是說第（i+1）層的啟用值計算了5次，可我們明明只需要1個啟用值，那麼我們該怎麼辦。其實上面的敘述中已經給出了答案，取這5者的最大值來作為最終的結果。
總結一下，maxout明顯增加了網路的計算量，使得應用maxout的層的參數個數成k倍增加，原本只需要1組就可以，採用maxout之後就需要k倍了。
再敘述一個稍微複雜點的應用maxout的網路，網狀圖如下：

對上圖做個說明，第i層有3個節點，紅點表示，而第（i+1）層有4個結點，用彩色點表示，此時在第（i+1）層採用maxout（k=3）。我們看到第（i+1）層的每個節點的啟用值都有3個值，3次計算的最大值才是對應點的最終啟用值。我舉這個例子主要是為了說明，決定結點的啟用值的時候並不是以層為單位，仍然以節點為單位。
參考：
https://www.cnblogs.com/neopenx/p/4453161.html
http://www.sohu.com/a/146005028_723464
http://blog.csdn.net/hjimce/article/details/50414467