深度學習論文筆記--Recover Canonical-View Faces in the Wild with Deep Neural Network

標籤：style   blog   http   ext   使用   2014   

 

文章來源：CVPR2014

Zhenyao Zhu，Ping Luo，Xiaogang Wang，Xiaoou Tang

（香港中文大學果然牛啊，CVPR一刷一大堆）

 

主要內容：

提出了利用深度學習（還是CNN）來進行人臉映像重構正面人臉，然後利用重構的正面人臉映像來進行人臉的verification，當然能夠取得更高的準確率（比沒有用正臉去verification），文章提出利用DL來學習從任意臉到canonical 臉的轉換，可以認為是一個迴歸問題（也不一定非得用DL方法來做）。

 

現有的方法有兩種：1. 考慮產生3D臉模型；2. 直接在2D映像空間上進行（這篇文章採用的方法）。

 

主要步驟：

1. 正面人臉的選擇依據，2.人臉正面臉重構。

 

1. 關於正面人臉的選擇準則：1. 左右對稱性，2. 映像的秩Rank，3，結合1和2（文章採用的方法）。

所以採用的度量公式如下：

其中Yi是人臉映像，P,Q 矩陣是參數，第一項表示對稱性，第二項表示映像的秩，lamda 則表示這兩個準則的tradeoff。

在文章中，作者只是採用M值最小的。（可能會有問題，或者說有改進的空間，文章中作者也說了，可以採用線性組合等來計算正面人臉）

 

2. 正面人臉重構：

正面人臉選擇之後，就可以進行訓練是深度學習網路了，其準則是：

其中W是深度神經網路的參數，Yi是選擇的正面臉。

網路的結構如下所示：

其包含3個卷積層，其中頭兩個採用max pooling ，最後一個採用全串連，不共用權值，具體的網路結構跟經典的沒有太大的改進。

 

verification的過程：

1. 對於每一個訓練映像對，重構正面臉，然後提取5個特徵點Landmark，然後基於這些Landmark提取Patch。

2. 利用每個patch對來訓練網路，多個特徵最後被級聯在一起形成最後的特徵。

3. 使用PCA降維和利用SVM分類（二分類問題）。

實驗細節：不是採用LFW中的映像來訓練DL模型，而是採用其它的人臉映像庫CelebFaces來進行訓練，在LFW中能夠取得96.45%的準確率。

 

 

最後看下他們的重構效果