其他

博文內容轉載至：http://blog.csdn.net/ybdesire/article/details/51792925 最佳化演算法 解決最佳化問題，有很多演算法（最常見的就是梯度下降），這些演算法也可以用於最佳化神經網路。每個深度學習庫中，都包含了大量的最佳化演算法，用於最佳化學習速率，讓網路用最快的訓練次數達到最優，還能防止過擬合。  keras中就提供了這樣一些最佳化器[1]： SGD：隨機梯度下降 SGD+Momentum:

本文是Deep Learning 之 最佳化方法系列文章的Adam方法。主要參考Deep Learning 一書。 整個最佳化系列文章列表： Deep Learning 之 最佳化方法 Deep Learning 最佳化方法之SGD Deep Learning 最佳化方法之Momentum（動量） Deep Learning 最佳化方法之Nesterov(牛頓動量) Deep Learning 最佳化方法之AdaGrad Deep

演算法檢查 gradient check sanity check other check 一階演算法 Adagrad momentum nag rmsprop 總結 二階演算法 牛頓法 擬牛頓法 參考

最近在做實驗是，發現看代碼可以增加自己的認識，就最近對卷積的操作的總結 方便今後的查閱，也矯正之前的理解偏差。 在卷積神經網路中，卷積算是一個必不可少的操作， 下圖是一個簡單的各層的關係。 可以看出一個很好的擴充的關係，下面是整個卷積的大概的過程 圖中上半部分是傳統的卷積的操作，下圖是一個矩陣的相乘的操作。

文章轉載自：http://www.52analysis.com/R/1627.html 神經網路(最佳化演算法) 人工神經網路(ANN)，簡稱神經網路，是一種模仿生物神經網路的結構和功能的數學模型或計算模型。神經網路由大量的人工神經元連接進行計算。大多數情況下人工神經網路能在外界資訊的基礎上改變內部結構，是一種自適應系統。現代神經網路是一種非線性統計性資料建模工具，常用來對輸入和輸出間複雜的關係進行建模，或用來探索資料的模式。 人工神經網路從以下四個方面去類比人的智能行為:

original url: http://caffecn.cn/?/article/4 2015_Arxiv_Deep Residual Learning for Image Recognition     首先感謝 @辛淼 博士的邀請，末學在這裡把閱讀《Deep Residual Learning for Image Recognition》一文的心得和大家分享一下，做拋磚引玉之用，希望得到大家的廣泛討論。

機器學習：一步步教你理解反向傳播方法 時間 2016-09-13 00:35:59   Yong Yuan's blog 原文   http://yongyuan.name/blog/back-propagtion.html 主題  資料採礦 在閱讀反向傳播方法的時候，看到了這篇通過樣本給出反向傳播的博文&

原作者總結的很好。 從NN到RNN再到LSTM(2): 迴圈神經網路RNN簡介及計算 本文將簡要介紹迴圈神經網路（Recurrent Neural Network，RNN），以及RNN的前向計算和誤差反向傳播過程。 轉載請註明出處：http://blog.csdn.net/u011414416/article/details/46709965 以下內容主要引自Alex Graves寫的Supervised Sequence Labelling with

說明 學習深度學習的過程中，遇到了一個用例子講解反向傳播演算法的博文，簡單粗暴容易理解，很適合我這種小白，所以打算翻譯一下分享，英文水平有限，翻譯不對的地方請告知。原文地址在這。下面是譯文。 背景 反向傳播在神經網路的訓練中是一種經常被用到的演算法。關於反向傳播演算法網上有很多講解，但是很少有用真實的數字為大家舉例子來解釋的。在本篇博文中，我將努力用一個具體的例子來解釋反向傳播是怎樣工作的，為了確定自己理解的是否正確，大家可以先按照自己的理解算一下。

       卷積層的維度計算        假設卷積層的輸入大小x*x為5*5，卷積核大小k*k為3*3,步長stride為2，假設不填充，輸出維度將會是(x-k)/2+1,即為2*2；如果步長為1，那麼輸出將會是3*3.步長為1的前向傳波和反向傳播已有很多推導，不再贅述。       前向傳播      假設輸入如下：  

以TensorFlow的卷積神經網路為例 卷積-池-卷積-池-全串連-softmax 前向傳導 C1層：卷積神經網路的輸入是28×28的矩陣 A A，經過 F1 F_1個5×5的卷積核 K1i(i=1,2,...,F1) K_i^1(i=1,2,...,F_1)的卷積產生 F1 F_1個24×24大小的feature maps：

在前兩節曾經介紹過logistic迴歸與分類演算法，並對線性與非線性資料集分別進行分類實驗。Logistic採用的是一層向量權值求和的方式進行映射，所以本質上只能對線性分類問題效果較好（實驗也可以看到），其模型如下所示（詳細的介紹可看上兩次部落格： 機器學習之logistic分類線性與非線性實驗（續））：

The TensorFlow Convolution example gives an overview about the difference between SAME and VALID : For the SAME padding, the output height and width are computed as: out_height = ceil(float(in_height) / float(strides[1])) out_width =

import numpy as npclass ReluActivator(object): def forward(self, weighted_input): #return weighted_input return max(0, weighted_input) def backward(self, output): return 1 if output > 0 else 0class

深度學習基礎——神經網路起步 原文地址Fundamentals of Deep Learning – Starting with Artificial Neural Network 前言  深度學習和神經網路如今驅動著電腦科學的進步，兩者擁有強大的通過資料和環境學習擷取資訊的能力，這也導致他們是機器學習領域的首選手段。  深度學習和神經網路是自動駕駛，Image

0- 背景 本文介紹基於殘差網路的深層卷積神經網路，Residual Networks(ResNets)。 從理論上分析，神經網路層數越多，可以表示更複雜的模型函數。CNN能夠提取low/mid/high-level的特徵，網路的層數越多，意味著能夠提取到不同level的特徵越豐富。並且，越深的網路提取的特徵越抽象，越具有語義資訊。 但是在實際訓練中，深層的神經網路很難訓練。單純增加網路層數，會導致梯度彌散或梯度爆炸（都是指反向傳播過程）。這使得梯度下降越來越慢。

卷積神經網路入門學 原文地址：http://blog.csdn.net/hjimce/article/details/47323463 作者：hjimce 卷積神經網路演算法是n年前就有的演算法，只是近年來因為深度學習相關演算法為多層網路的訓練提供了新方法，然後現在電腦的計算能力已非當年的那種計算水平，同時現在的訓練資料很多，於是神經網路的相關演算法又重新火了起來，因此卷積神經網路就又活了起來。

pb的5種類： custom class :不可見使用者自訂類 ，如實現函數的多態 standard class :標準不可見控制項 擴充類 custom visual :使用者自訂 可見類 External Visual: 外部可視類,如ocx引入 Standard Visual: PB標準可視控制項擴充  “Control”和“Object”的區別：

1.Xcode運行出現這個問題： Please verify that your device’s clock is properly set, and that your signing certificate is not expired.  這是你的認證失效了。 解決辦法 In Xcode,

        最近開發中遇到個問題，在cell中開啟了CADisplayLink並加入Runloop，在釋放的時候，VC以及其他cell的dealloc都走了，只有開啟定時器的cell不走dealloc方法。