正確率、召回率和 F 度量

標籤：

原文：http://peghoty.blog.163.com/blog/static/49346409201302595935709/

 正確率、召回率和 F 度量是在魚龍混雜的環境中，選出目標的重要評價指標。不妨看看這些指標的定義先：

   1. 正確率 = 正確識別的個體總數 /  識別出的個體總數

   2. 召回率 = 正確識別的個體總數 /  測試集中存在的個體總數

   3. F值  = 正確率 * 召回率 * 2 / (正確率 + 召回率) （F 度量即為正確率和召回率的調和平均值）

 

 不妨舉這樣一個例子：某池塘有1400條鯉魚，300隻蝦，300隻鱉。現在以捕鯉魚為目的。Seaeagl e撒一大網，逮著了700條鯉魚，200隻蝦，100隻鱉。那麼，這些指標分別如下：

正確率 = 700 / (700 + 200 + 100) = 70%

召回率 = 700 / 1400 = 50%

F值 = 70% * 50% * 2 / (70% + 50%) = 58.3%

 

 不妨看看如果 Seaeagle 把池子裡的所有的鯉魚、蝦和鱉都一網打盡，這些指標又有何變化：

正確率 = 1400 / (1400 + 300 + 300) = 70%

召回率 = 1400 / 1400 = 100%

F值 = 70% * 100% * 2 / (70% + 100%) = 82.35%

        

 由此可見，正確率是評估捕獲的成果中目標成果所佔得比例；召回率，顧名思義，就是從關注領域中，召回目標類別的比例；而 F 度量，則是綜合這二者指標的評估指標，用於綜合反映整體的指標。

  補充: 以下是百度百科中對召回率的詳解 http://baike.baidu.com/view/29947.htm 召回率 基本概念

  召回率

召回率(Recall)和精度(Precise)是廣泛用於資訊檢索和統計學分類領域的兩個度量值，用來評價結果的品質。其中召回率是是檢索出的相關文檔數和文件庫中所有的相關文檔數的比率，衡量的是檢索系統的查全率。精度是檢索出的相關文檔數與檢索出的文檔總數的比率，衡量的是檢索系統的查准率。計算方法召回率和精度

  recall

假定：從一個大規模資料集合中檢索文檔時，可把文檔分成四組：- 系統檢索到的相關文檔（A）- 系統檢索到的不相關文檔（B）- 相關但是系統沒有檢索到的文檔（C）- 不相關且沒有被系統檢索到的文檔（D）則：- 召回率R：用檢索到相關文檔數作為分子，所有相關文檔總數作為分母，即R = A / ( A + C )- 精度P：用檢索到相關文檔數作為分子，所有檢索到的文檔總數作為分母．即P = A / ( A + B ).舉例來說：一個資料庫有500個文檔，其中有50個文檔符合定義的問題。系統檢索到75個文檔，但是只有45個符合定義的問題。召回率 R=45/50=90%精度     P=45/75=60%本例中，系統檢索是比較有效，召回率為90%。但是結果有很大的噪音，有近一半的檢索結果是不相關。研究表明：在不犧牲精度的情況下，獲得一個高召回率是很困難的。搜尋系統的召回率對於一個檢索系統來講，召回率和精度不可能兩全其美：召回率高時，精度低，精度高時，召回率低。所以常常用 11種召回率下 11 種精度的平均值來衡量一個檢索系統的精度。我們也可以將這兩個度量值融合成一個度量值，如 F度量 (F-measure）。對於搜尋引擎系統來講，因為沒有一個搜尋引擎系統能夠搜集到所有的 WEB 網頁，所以召回率很難計算。目前的搜尋引擎系統都非常關心精度。影響一個搜尋引擎系統的效能有很多因素，最主要的是資訊檢索模型，包括文檔和查詢的表示方法、評價文檔和使用者查詢相關性的匹配策略、查詢結果的排序方法和使用者進行相關度反饋的機制。“召回率” 與 “準確率” 雖然沒有必然的關係，然而在大規模資料集合中，這兩個指標卻是 相互制約的。由於 “檢索策略” 並不完美，希望更多相關的文檔被檢索到時，通常放寬 “檢索策略” ，此時往往也會伴隨出現一些不相關的結果，從而使準確率受到影響。而希望去除檢索結果中的不相關文檔時，務必要將 “檢索策略” 定的更加嚴格，這樣也會使有一些相關的文檔不再能被檢索到，從而使召回率受到影響。凡是涉及到大規模資料集合的檢索和選取，都涉及到 “召回率” 和 “準確率” 這兩個指標。而由於兩個指標相互制約，我們通常也會根據需要為 “檢索策略” 選擇一個合適的度，不能太嚴格也不能太松，尋求召回率和準確率中間的一個平衡點。這個平衡點由具體需求決定。

正確率、召回率和 F 度量