Evaluation Criteria of Image Retrieval : Retrieval Accuracy

本文介紹映像檢索領域中一些常用的評判標準，首先的兩個是比較常用的查准率precision和查全率recall，然後介紹的是MPEG-7中推薦的方法Average Normalized Modified Retrieval Rank (ANMMRR)

-------------------------------------------------------------------------------------

Precision

一次查詢過程中，系統返回的主觀相似映像個數占所有返回映像個數的比例。正確的主觀相似映像越多，查准率越高。

具體公式懶得貼了。

-------------------------------------------------------------------------------------

Recall

一次查詢過程中，系統返回的查詢結果中主管相似映像個數占映像庫中所有主觀相似映像個數的比例。

同上，具體公式懶得貼了

需要注意的是，Precision和Recall是成反比關係的，所以給出實驗結果時一般都是給出一個Precision-Recall圖。例如當Recall等於0,5時的Precision圖

-------------------------------------------------------------------------------------

Retrieval Rate (RR)

其中

NG(q) 資料集中與q主觀相似的映像個數

NF(a,q) 在檢索到的前a個結果中，與q相似的映像的個數

RR(q) 檢索率

我們使用NQ個查詢請求來測試該系統，則有

Average Retrieval Rate (ARR)

由於檢索結果中主觀正確圖片的排序在評價檢索效能中同樣起到很重要的作用，我們還需要考慮排序的影響，這時我們設定Rank(k)表示查詢q中第kth個主觀正確結果的排序。並且引入截斷參數K (Relevant ranks) >= NG。關於如何選擇K，有的文獻直接給出了下面這個方法，就是選擇K = min{ 2xNG(q), 2 x GTM } 其中GTM 表示所有查詢請求中最大的主觀相似映像個數，也就是最大的NG

這時我們得出了一個更優的排序函數來代替Rank(k)

結合(3) 我們可以得出 Average Rank (AVR)

由於在一個資料集中NG(q)是不同的，而且變化的幅度很大，為了減少NG(q)對評價函數的影響，可以使用下面的這個函數來代替(4)

Modified Retrieval Rank (MRR)

然後歸一化一下，這是由於MMR的上限仍然受到NG的影響。

Normalized Modified Retrieval Rank (NMRR)

下一個公式當然是求平均值：

Average Normalized Modified Retrieval Rank (ANMRR)

好了，介紹完畢，如果想要看更具體的解釋，可以參看[1]。

---------------------------華麗分割-----------------------------------------------

最後，說評判標準不能不提一下資料集的問題。資料集不同往往會對檢索演算法的準確度起到很大的影響。換句話說，現在的大多演算法都是針對資料集的，換一個資料集後檢索效果會差很多。最近已經有大牛在CVPR2011上就資料集的問題進行了討論，這篇文章我還沒看，但是在網上找到了有人寫的關於這篇文章的介紹和心得，有興趣的人可以去這裡瞭解下(該作者很會賣萌) http://www.cvchina.info/2011/06/23/cvpr-nb-paper/

同樣，這個問題在實際項目中更是明顯。例如，在我做過的一個針對商品形狀檢索的需求中，曾經發現一些看似有很好檢索效果的演算法其實並不像實驗中那麼好。因為在實驗中大多採用的是一些輪廓很清楚正確的圖形，而在真實項目中，即使是在簡單背景下，我們也很難對所有商品都獲得很好輪廓的。

有時想想，映像檢索這個領域真是沒法去搞研究，連如何測試演算法效能都是一個懸而未決的問題。在我看來，我們還不如直接在實際項目中去檢驗，針對不同的應用背景所作出的結果往往更加真實更有說服力。

-------------------------------------------------------------------------------------

Reference:

[1] Manjunath, B. S., Ohm, J.-R., Vasudevan, V. V., and Yamada, A. Color and texture descriptors. IEEE Trans. Circ. Syst. Video Technol. 11, 6, 703--715, 2001

[2] R. Datta, D. Joshi, J. Li and J.Z. Wang, Image Retrieval: Ideas, Influences, and Trends of the New Age, ACM Computing Surveys, vol. 40, no. 2, pp. 1-60, 2008.