大資料處理之道（實驗方法篇）

標籤：大資料處理   實驗方法   algorithm   

（1）做大資料處理，清洗資料結束後，就是現象分析，再建立Model模型，在驗證自己模型的有效性

（2）大資料實驗驗證模型有效性的指標：

Accuracy（正確率）；Precision（查准率或準確率）；Recall（查全率或召回率）；F1-Measure

True Positives, True Negatives, False Positives, False Negatives 下面分別進行表述：

（3）詳細介紹：查全率和查准率是目前衡量檢索效果的相對合理的指標 

查全率＝（檢索出的相關資訊量/系統中的相關資訊總量）*100% 

查准率＝（檢索出的相關資訊量/檢索出的資訊總量）*100% 

前者是衡量檢索系統和檢索者檢出相關資訊的能力，後者是衡量檢索系統和檢索者拒絕非相關資訊的能力。兩者合起來，即表示檢索效率。

True Positive （真正, TP）被模型預測為正的正樣本；可以稱作判斷為真的正確率

True Negative（真負 , TN）被模型預測為負的負樣本 ；可以稱作判斷為假的正確率

False Positive （假正, FP）被模型預測為正的負樣本；可以稱作誤判率

False Negative（假負 , FN）被模型預測為負的正樣本；可以稱作漏報率

（4）用圖表說話：
 
表格中的翻譯比較重要 true positives (納真)    false positives（納偽） false negatives（去真）true negatives  (去偽)

其中false positives（納偽）也通常稱作誤判，false negatives也通常稱作漏報！

 計算方法：

Precision =   tp/(tp + fp);

Recall = tp / (tp + fn).

然而在實際當中，我們當然希望檢索的結果P越高越好，R也越高越好；事實上這兩者在某些情況下是矛盾的。比如，我們只搜出了一個結果，且是準確的，

那麼P就是100%，但是R就很低；而如果我們把所有結果都返回，那麼必然R是100%，但是P很低。因此在不同的場合中需要自己判斷希望P比較高還是R比

較高。如果是做實驗，可以繪製Precision-Recall曲線來協助分析。

實際例子：

例如：一個資料集合裡面有100個待檢測的資料，結果用我們的方法檢測出來了10個（其中，8個是那100個待檢測資料中的，2個不是），還有90個沒有檢測

出來；此時precision = 8/10 = 80%, 而 Recall = 8 / 100 = 8%;

（5）F-Measure是Precision和Recall加權調和平均：
 

很容易理解，F1綜合了P和R的結果，當F1較高時則比較說明實驗方法比較理想。

部分摘自：http://blog.csdn.net/t710smgtwoshima/article/details/8215037

（6）查全率和查准率都有局限性 

　　查全率的局限性主要表現在：它是檢索出的相關資訊量與儲存在檢索系統中的全部相關資訊量之比，但系統中相關資訊量究竟有多少一般是不確知的，只

能估計；另外，查全率或多或少具有“假設”的局限性，這種“假設”是指檢索出的相關資訊對使用者具有同等價值，但實際並非如此，對於使用者來說，資訊的相關

程度在某種意義上比它的數量重要得多。 　

　查准率的局限性主要表現在：如果檢索結果是題錄式而非全文式，由於題錄的內容簡單，使用者很難判斷檢索到的資訊是否與課題密切相關，必須找到該題錄

的全文，才能正確判斷出該資訊是否符合檢索課題的需要；同時，查准率中所講的相關資訊也具有“假設”的局限性。          實驗證明，在查全率和查准率之間存

在著相反的相互依賴關係--如果提高輸出的查全率，就會降低其查准率，反之亦然。 

對使用者來說，影響檢索效果的主要因素有文獻標引的廣泛性和使用者檢索標識的專指性。

（7） 綜述

在資訊檢索，如搜尋引擎、自然語言處理和檢測分類中經常會使用這些參數，因為介於語言翻譯上的原因理解難免出現誤差

大資料處理之道（實驗方法篇）