論文筆記 Aggregated Residual Transformations for Deep Neural Networks

標籤：img   tin   gre   like   mode   nal   限制   定製   ret   

這篇文章構建了一個基本“Block”，並在此“Block”基礎上引入了一個新的維度“cardinality”(字母“C”在圖、表中表示這一維度)。深度網路的另外兩個維度分別為depth（層數）、width（width指一個層的channel的數目）。

 

首先我們先瞭解一個這個“Block”是如何構建的，如所示（ResNeXt是這篇論文提出模型的簡化表示）

左邊是標準殘差網路“Block”，右圖是作者引入的“Block”。這新的Block有什麼優勢呢？作者應該是受到了Inception models的啟發，論文中指出“Unlike VGG-nets， the family of Inception models have demonstrated that carefully designed topologies are able to achieve compelling accuracy with low theoretical complexity”。再進一步就是，“The split-transform-merge behavior of Inception modules is expected to approach the representational power of large and dense layers, but at a considerably lower computational complexity”。說得簡單點就是“在達到大型、緊湊深度網路的準確率的同時，降低模型的計算複雜度”（這就是這篇paper追求的一個效果）。Figure 1右邊就是就是採用split-transform-merge策略構建的。

 

Inception models在實際應用時有一個很不方便的地方：每一個分支的卷積核大小、尺寸是“定製的”，不同的“Block”之間也是“定製的”。如果我們想要應用這一模型或者在這一架構下設計一個新的網路，那麼上述“定製化”的特點會引入很多“超參數”。如果你自己設計過網路或者更改過現有網路，你就會理解“超參數”過多對於我們的設計簡直就是一個“災難”。此時，如果沒有一個合適的設計策略的話，說直白點就是“靠天吃飯”了。

 

受VGG/ResNets成功的啟發，作者總結了以下兩個設計“Block”原則：

1. “If producing spatial maps of the same size, the blocks share the same hyper-parameters(width and filter sizes)”
2. "Each time when the spatial map is downsampled by a factor of 2, the width of the blocks is multiplied by a factor of 2"

除此之外，所有的“Block”具有相同的拓撲結構。作者給出了一些設計的模板，再結合上述兩條原則，我們基本可以構建所需要的任意網路了(是不是覺得網路結構的設計一下子變得簡單了很多)，模板如下表所示

這還沒有結束，作者有給出了Figure 1左邊結構的兩種等價表述形式，如所示

這就極大的方便了我們的實現。此時Alexnet引入的group convolution概念就有了用武之地（當時引入這一概念是受GPU條件的限制）。採用Figure 3（c）的形式，可以在Caffe中直接實現而無需更改任何原始碼。

 

下面我們通過實驗效果看看這一模型的威力

由Table 4可以得出，即使複雜度減少一半，該模型依然可以取得比ResNet-200還好的實驗效果，達到了作者追求的“在達到複雜、緊湊深度模型準確率的同時，減少計算複雜度的目的”。

 

總結：

• 作者要求“Block”具有相同的拓撲結構，同時給出“Blcok”擴充的設計原則和模板（通過repeating building blocks可以得出網路結構），極大的簡化了網路結構設計的工作量。
• 相同實現不同等價形式的給出，一能加深我們理解，二能為我們提供快速實現的可能。
• 這真的是一篇佳作哦。

論文筆記 Aggregated Residual Transformations for Deep Neural Networks