python實現識別相似圖片小結

文章簡介

在網上看到python做Image Recognition的相關文章後，真心感覺python的功能實在太強大，因此將這些文章總結一下，建立一下自己的知識體系。
當然了，Image Recognition這個話題作為電腦科學的一個分支，不可能就在本文簡單幾句就說清，所以本文只作基本演算法的科普向。

如有錯誤，請多包涵和多多指教。

參考的文章和圖片來源會在底部一一列出。

以及本篇文章所用的代碼都會在底下給出github地址。

安裝相關庫

python用作影像處理的相關庫主要有openCV(C++編寫，提供了python語言的介面)，PIL,但由於PIL很早就停了，所以不支援python3.x,所以建議使用基於PIL的pillow,本文也是在python3.4和pillow的環境下進行實驗。

pillow下載地址
PIL的下載地址
openCV的官網

至於opencv，在做Face Service的時候會用到，但本文不會涉及到，在本專欄的後續中會談及openCV的Face Service和基於此的python圖片爬蟲，有興趣的朋友可以關注本專欄。

相關背景

要識別兩張相似映像，我們從感性上來談是怎麼樣的一個過程？首先我們會區分這兩張相片的類型，例如是風景照，還是人物照。風景照中，是沙漠還是海洋，人物照中，兩個人是不是都是國字臉，還是瓜子臉（還是倒瓜子臉……哈哈……）。

那麼從機器的角度來說也是這樣的，先識別映像的特徵，然後再相比。

很顯然，在沒有經過訓練的電腦(即建立模型)，那麼電腦很難區分什麼是海洋，什麼是沙漠。但是電腦很容易識別到映像的像素值。

因此，在Image Recognition中，顏色特徵是最為常用的。（其餘常用的特徵還有紋理特徵、形狀特徵和空間關係特徵等）

其中又分為

1. 長條圖
2. 顏色集
3. 顏色矩
4. 彙總向量
5. 相關圖
   

長條圖計演算法

這裡先用長條圖進行簡單講述。

先借用一下戀花蝶的圖片，

從肉眼來看，這兩張圖片大概也有八成是相似的了。

在python中可以依靠Image對象的histogram()方法擷取其長條圖資料，但這個方法返回的結果是一個列表，如果想得到可視化資料，需要另外使用 matplotlib，這裡因為主要介紹演算法思路，matplotlib的使用這裡不做介紹。

是的，我們可以明顯的發現，兩張圖片的長條圖是近似重合的。所以利用長條圖判斷兩張圖片的是否相似的方法就是，計算其長條圖的重合程度即可。

計算方法如下：

其中gi和si是分別指兩條曲線的第i個點。

最後計算得出的結果就是就是其相似程度。

不過，這種方法有一個明顯的弱點，就是他是按照顏色的全域分布來看的，無法描述顏色的局部分布和色彩所處的位置。

也就是假如一張圖片以藍色為主，內容是一片藍天，而另外一張圖片也是藍色為主，但是內容卻是妹子穿了藍色裙子，那麼這個演算法也很可能認為這兩張圖片的相似的。

緩解這個弱點有一個方法就是利用Image的crop方法把圖片等分，然後再分別計算其相似性，最後綜合考慮。

映像指紋與漢明距離

在介紹下面其他判別相似性的方法前，先補充一些概念。第一個就是映像指紋

映像指紋和人的指紋一樣，是身份的象徵，而映像指紋簡單點來講，就是將映像按照一定的雜湊演算法，經過運算後得出的一組位元字。

說到這裡，就可以順帶引出漢明距離的概念了。

假如一組位元據為101，另外一組為111，那麼顯然把第一組的第二位元據0改成1就可以變成第二組資料111，所以兩組資料的漢明距離就為1

簡單點說，漢明距離就是一組位元據變成另一組資料所需的步驟數，顯然，這個數值可以衡量兩張圖片的差異，漢明距離越小，則代表相似性越高。漢明距離為0，即代表兩張圖片完全一樣。

如何計算得到漢明距離，情況下面三種雜湊演算法

平均雜湊法(aHash)

此演算法是基於比較灰階圖每個像素與平均值來實現的

一般步驟

1.縮放圖片，可利用Image對象的resize(size)改變，一般大小為8*8，64個像素值。
2.轉化為灰階圖
轉灰階圖的演算法。
1.浮點演算法：Gray=Rx0.3+Gx0.59+Bx0.11
2.整數方法：Gray=(Rx30+Gx59+Bx11)/100
3.移位方法：Gray =(Rx76+Gx151+Bx28)>>8;
4.平均值法：Gray=（R+G+B）/3;
5.僅取綠色：Gray=G；

在python中，可用Image的對象的方法convert('L')直接轉換為灰階圖

3.計算平均值：計算進行灰階處理後圖片的所有像素點的平均值。
4.比較像素灰階值：遍曆灰階圖片每一個像素，如果大於平均值記錄為1，否則為0.
5.得到資訊指紋：組合64個bit位，順序隨意保持一致性。
最後比對兩張圖片的指紋，獲得漢明距離即可。

感知雜湊演算法(pHash)

平均雜湊演算法過於嚴格，不夠精確，更適合搜尋縮圖，為了獲得更精確的結果可以選擇感知雜湊演算法，它採用的是DCT（離散餘弦變換）來降低頻率的方法

一般步驟：

1. 縮小圖片：32 * 32是一個較好的大小，這樣方便DCT計算
2. 轉化為灰階圖：把縮放後的圖片轉化為256階的灰階圖。（具體演算法見平均雜湊演算法步驟）
3. 計算DCT:DCT把圖片分離成分率的集合
4. 縮小DCT：DCT是32 * 32，保留左上方的8 * 8，這些代表的圖片的最低頻率
5. 計算平均值：計算縮小DCT後的所有像素點的平均值。
6. 進一步減小DCT：大於平均值記錄為1，反之記錄為0.
7. 得到資訊指紋：組合64個資訊位，順序隨意保持一致性。
   

最後比對兩張圖片的指紋，獲得漢明距離即可。

這裡給出別人的DCT的介紹和計算方法(離散餘弦變換的方法)

相比pHash，dHash的速度要快的多，相比aHash，dHash在效率幾乎相同的情況下的效果要更好，它是基於漸層實現的。

步驟：

1. 縮小圖片：收縮到9*8的大小，一遍它有72的像素點
2. 轉化為灰階圖：把縮放後的圖片轉化為256階的灰階圖。（具體演算法見平均雜湊演算法步驟）
3. 計算差異值：dHash演算法工作在相鄰像素之間，這樣每行9個像素之間產生了8個不同的差異，一共8行，則產生了64個差異值
4. 獲得指紋：如果左邊的像素比右邊的更亮，則記錄為1，否則為0.
   

最後比對兩張圖片的指紋，獲得漢明距離即可。

總結

這幾種演算法是識別相似映像的基礎，顯然，有時兩圖中的人相似比整體的顏色相似更重要，所以我們有時需要進行Face Service，
然後在臉部區進行局部雜湊，或者進行其他的預先處理再進行雜湊，這裡涉及其他知識本文不作介紹。

下一次將講述利用opencv和以訓練好的模型來進行Face Service。

本文演算法的實現在下面，點一下下面的串連就好

github倉庫

