初入科研坑,基本概念都不懂,為了對一些必要的簡單知識增加一下記憶,就整理這篇文章,就當是本字典,以備之後忘記了隨時查閱。
參考一些大神們的解釋,今天要總結的知識點是對檢索結果評判的一些標準,主要包括:準確率(Precision rate)、召回率(Recall rate)、F值、平均精度(mAP)、最近鄰(NN)
準確率(Precision rate)、召回率(Recall rate)、F值
召回率(Recall) = 系統檢索到的相關檔案 / 系統所有相關的檔案總數
準確率(Precision) = 系統檢索到的相關檔案 / 系統所有檢索到的檔案總數
F值 = 準確率 * 召回率 * 2 / (準確率 + 召回率) (F 度量即為準確率和召回率的調和平均值)
圖表表示為:
準確率是評估檢索結果中相關量所佔得比例;召回率,顧名思義,就是從關注領域中,召回相關類別的比例;而F值,則是綜合這二者指標的評估指標,用於綜合反映整體的指標。
當然希望檢索結果Precision越高越好,同時Recall也越高越好,但事實上這兩者在某些情況下有矛盾的。比如極端情況下,我們只搜尋出了一個結果,且是準確的,那麼Precision就是100%,但是Recall就很低;而如果我們把所有結果都返回,那麼比如Recall是100%,但是Precision就會很低。因此在不同的場合中需要自己判斷希望Precision比較高或是Recall比較高。如果是做實驗研究,可以繪製Precision-Recall曲線來協助分析。
如果是做搜尋,那就是保證召回的情況下提升準確率;如果做疾病監測、反垃圾,則是保準確率的條件下,提升召回。
平均精度(mAP)
mAP是為解決P,R,F-measure的單點值局限性的。為了得到 一個能夠反映全域效能的指標,可以看考察下圖,其中兩條曲線(方塊點與圓點)分布對應了兩個檢索系統的準確率-召回率曲線
可以看出,雖然兩個系統的效能曲線有所交疊,但是以圓點標示的系統的效能在絕大多數情況下要遠好於用方塊標示的系統。
從中我們可以發現一點,如果一個系統的效能較好,其曲線應當儘可能的向上突出。
更加具體的,曲線與座標軸之間的面積應當越大。
最理想的系統,其包含的面積應當是1,而所有系統的包含的面積都應當大於0。
這就是用以評價資訊檢索系統的最常用效能指標,平均準確率mAP,它是指P-R曲線與座標軸構成的面積。
最近鄰(NN)
用於測量前一個檢索的精度