論文閱讀（Weilin Huang——【TIP2016】Text-Attentional Convolutional Neural Network for Scene Text Detection）

標籤：而不是   images   不同   paper   合成   block   alt   資料庫   資訊   

 Weilin Huang——【TIP2015】Text-Attentional Convolutional Neural Network for Scene Text Detection）

 

 

目錄

• 作者和相關連結
• 方法概括
• 創新點和貢獻
• 方法細節
• 實驗結果
• 問題討論
• 作者和相關連結
• 總結與收穫點
• 作者補充資訊
• 參考文獻

 

 

• 作者和相關連結
  • 論文下載
  •  tong he, 黃偉林，喬宇，姚劍
    

 

• 方法概括
  1. 使用改進版的MSER（CE-MSERs，contrast-enhancement）提取候選字元地區；
  2. 使用新的CNN（text-CNN，結合了像素級資訊，字元多類標籤，字元二類標籤的監督資訊來訓練text-attentional的CNN）來過濾非文字地區；
  3. 將字串成字串再切成單詞（參考文獻1，文獻2的方法，不是文章重點）
• 創新點和貢獻
  • idea的出發點：
  • 人類判斷一個patch塊中是否是文字一般分為三步：第一，將文字地區和背景區分開（像素級分割，如果文字和背景幾乎全粘連在一起，根本無法判斷是否是字），第二，判斷摳下來的該地區是什麼字（字元識別，如果一個字我們認得是‘a‘，那麼我們就很有信心這是一個字，而不是隨便什麼符號。試想如果一個完全不認識字的人他判斷是否是字的準確率肯定不會比認字的人高，正是因為他缺乏了這個字元類別資訊），第三，才是做出決策，判斷是否是字或者雜訊。
  • MSER的兩個缺點是：第一，容易受背景幹擾，造成字元斷裂，和背景粘連等問題；第二，字元和背景的對比很低，不能因為“stable”而被MSER檢測出來，導致漏檢。因此，為解決這兩個問題，可以增強文字地區的局部對比，在增強對比的map上去提取MSER就可以提高召回率。

如果不認識這些字，那麼很難判斷這到底是否真是‘字‘還是瞎寫的筆畫

• • 創新點：
    • 提出了對比增強版的MSER，提高召回率
    • 提出了基於多任務學習的text-CNN模型，並介紹了一種新的訓練機制，將低級的像素級資訊（分割問題），到進階的字元多類資訊（62類字元識別問題），字元與非字元資訊（2類字元分類問題）融合到一個text-CNN模型中，實現了具有更強的分辨性和魯棒性的text detector.
• 方法細節
  • text-CNN
    • 網路結構圖

 

 

• • • 3個任務

• • • 3個任務的損失函數（從上到下分別是binary,label,region)

• • • • ,,,

 

• • • 總的損失函數：

 

• • • 3個任務網路結構：
      • pixel-level segementation task: Conv1 → Conv2 → Deconv1 → Deconv2 → loss (5) 【兩個卷積，兩個去卷積】
      • character label task: Conv1 → Conv2 → Pool2 → Conv3 → Fc1 → Fc2 → loss  (4)     【三個卷積，一個池化，兩個全串連】
      • text/non-text task: Conv1 → Conv2 → Pool2 → Conv3 → Fc1 → Fc2 → loss  (3)       【三個卷積，一個池化，兩個全串連】
    • 池化層設計的原因
      • 池化層本身是無法復原轉的，即在去卷積是無法找回原來的資訊的，所以在去卷積前不能使用池化層，因此只能在第二層之後才接池化層
      • 第三層卷積後映像已經很小，故沒必要再用池化層
      • 實驗證明了使用池化層：效能沒有降低，速度得到提高
    • 訓練過程
      • pre-train：label task和region task分別按10:3（損失函數比，λ1 =1，λ2 =0.3）進行訓練，採用的庫為合成資料庫charSynthetic，迭代次數為30k次
      • train：label task和main task分別按3:10（λ1 =0.3）進行訓練，採用的庫為真實庫charTrain，迭代次數為70k
      • 之所以這樣訓練的原因：三種任務使用的特徵不同（region task使用的特徵是pixel-level，屬於低級特徵），收斂的速度也不同。如果region task訓練次數和main task一樣多，會導致過擬合。第一階段訓練兩個任務之後，模型參數已經將像素級的資訊記錄下來了。為訓練階段三種任務的損失函數隨迭代次數的變化情況。

 

 

• • CE-MSERs
    • 演算法步驟（主要：
      • Step1 : 利用對比線索和空間線索聚類（文獻3），產生對比地區圖map1
      • Step2 : 利用色彩空間平滑（文獻4），產生對比地區圖map2
      • 在原圖，map1，map2上分別使用MSER

 

 

• 實驗結果
  • 實驗效果證明多任務效果(c)比傳統的CNN(a)，只使用一個額外任務，字元識別任務(b)更好

• • 實驗證明採用本文的Text-CNN學到了能區分字元和非字元的關鍵特徵

• • ICDAR2015

 

• • ICDAR2011 (CE-MSERs比MSERs好，用三種task訓練的text-CNN比單任務，雙任務的餓更好）

 

 

• • ICDAR2013

 

• • MSRA-TD500

 

• 問題討論
  • 使用池化層的優劣？
    • 優點：減少參數和模型的複雜性
    • 缺點：丟失了空間資訊，且池化層是無法復原轉的
  • 為什麼region task是迴歸問題？
  • 為什麼region task和label task在訓練的時候用，測試的時候不用？
  • CE-MSER的實現？
  • 為什麼label task是62類，而不是63類（包含雜訊類）？
  • 對於負樣本，region task的groundTruth中的mask怎麼做？label task中的負樣本類別是多少？
• 作者和相關連結

• 作者資訊
  • tong he, 黃偉林，喬宇，姚劍

 

• 總結與收穫點
  • CE-MSER提供了一個思路，可以增強對比來提高召回率，但實現方法不是很好。本身MSER就相對耗時，還需要在增強對比的map上再做兩次MSER，顯然時間開銷太大了。更好的方法應該是去改MSER的內部演算法，修改“stable”的含義或者對每個component做一定對比增強處理再提取等等。
  • 多任務學習的訓練方法可以參考這篇文章的思路：不同任務共用某些層
  • 把像素級資訊，字元類別級資訊融合到檢測中做的想法很可取

 

 

• 參考文獻

1. W. Huang, Y. Qiao, and X. Tang, “Robust scene text detection with convolution neural network induced MSER trees,” in Proc. 13th Eur. Conf. Comput. Vis. (ECCV), 2014, pp. 497–511.
2. C. Yao, X. Bai, W. Liu, Y. Ma, and Z. Tu, “Detecting texts of arbitrary orientations in natural images,” in Proc. IEEE Comput. Vis. Pattern Recognit. (CVPR), Jun. 2012, pp. 1083–1090.
3. H. Fu, X. Cao, and Z. Tu, “Cluster-based co-saliency detection,” IEEE Trans. Image Process., vol. 22, no. 10, pp. 3766–3778, Oct. 2013.
4. M. M. Cheng, G. X. Zhang, N. J. Mitra, X. Huang, and S. M. Hu, “Global contrast based salient region detection,”2011 in Proc. IEEE Comput. Vis. Pattern Recognit. (CVPR), Jun. 2011, pp. 409–416.

論文閱讀（Weilin Huang——【TIP2016】Text-Attentional Convolutional Neural Network for Scene Text Detection）