為什麼網站專案只需測試5個使用者

人們總是認為，HTTP://www.aliyun.com/zixun/aggregation/8134.html">使用者測試是一個複雜且代價昂貴的事情。 一個網站設計專案需要一個龐大的預算和長長的時程表。 其實，可用性測試並非如大多數人認為的是浪費資源的事情。 在你可承受的測試成本範圍內，使用不超過5個使用者，即可達到很好的測試效果。 最初的研究過程中，Tom Landauer 和我得出了一個可用性測試方面的，關於測試人員的數量的公式：

假設一個可用性測試的測試人員數量為n，N為所有可用性測試發現的問題總數，L是單個測試人員的問題發現率。

N(1-(1-L)n)

我們發現，大多數專案的平均的問題發現率為31%。 當 L=31%時，可以得到如下的圖形：

當使用者為零時，發現的問題數目是零，即「零使用者零發現」。 我們可以看到，第一個使用者幾乎發現的三分之一的設計的可用性的問題，和零發現截然不同。 當我們看第二個使用者的測試情況時，可以發現，有一部分問題是和第一個user重合的。 人們之間的行為或發現有一定的差異，第二個user可以發現一些不同于第一個user的問題，有區別于第一個使用者的新發現，但是問題數量不及第一個使用者的最初發現。 第三個使用者做了很多前兩者重複的事情，有些甚至重複2次。 另外，當然，第三個使用者本身異能發現少量的新問題，顯然數量遠遠不及前 兩個使用者。

現在，加入更多的測試人員（user），你會發現一個現象，隨著人數的增加，重複的事情一再出現，發現的新問題發現率開始下降。 顯然不再需要讓更多的人來重複發現重複的問題，自然回回去重新設計，以解決發現問題。

到了第5個user，你就是在浪費時間，去做重複的事情，並且幾乎再沒有先的發現。

反覆運算設計

上圖中的曲線很清除地標明，至少需要15個使用者去發現所有的設計中的可用性問題。 但是，為什麼我更傾向于推薦 用更少的測試人員呢？ 一個主要的原因是合理分配可用性測試的預算。 讓我們看看，當你招聘15個客戶代表來對你的設計進行測試時，就一位著你得花費5個使用者 的3倍的費用！

當我們去做使用者的可用性測試時，最終的目標是為了解決或者提高實際的設計，而不是僅僅得到一份書面的報告。 當5個使用者的首次測試發現了85%的可用性問題時，你已經可以在下一個desagn中修復這些問題。

如果想發現更多的問題，當然需要再次測試。 即使我說重新設計可以修復第一次測試時發現的問題，事實是你可能認 為新的設計可以客服已有的問題。 但是，在沒有人能設計出更完美的使用者介面之前，無法保證新的設計可以修復事實存在的問題。 第二次測試可以回歸已有的問題， 確認是否修復。 同時，一個新的設計，意味著還需要一次新的使用者測試。

5個使用者的第二次測試，可以發現第一次測試時遺留的15%的問題。 （仍舊會有2%的問題遺留要等到第三次測試來發現）。

最終，第二次測試的深度可以設計到網站的設計架構，獲取到我們所需的一些資訊，如體系架構、任務流程等是否符合客戶需求。 這些問題常常在隱藏在一些表面的可用性問題之後，而為人們所忽略。

所以，第二次的測試作為第一次測試的品質保障，並且可以發現更深入的問題。 第二次測試會為系統的重新設計提供一份新的問題清單，但數量顯然會少於第一次測試。 但是，本次測試並不能完全補充第一次測試，還需要第三次的測試來進行查漏補缺。

5個使用者三次的最終測試效果要遠高於15個使用者測試一次的效果。

為什麼不建議單使用者的測試？ 單個人的行為總會有一些風險，人總會有一些意外的，不確定的行為。

你可能會認為15個使用者做一輪測試，比5個使用者做3輪要好。 因為曲線表明，第一個使用者的發現率明顯高於後續的 使用者，但是，為什麼我們要堅持多輪測試？ 兩個原因：第一，通過觀察3個人就可以看到使用者行為的多樣性，可以洞察到那些行為是獨特的那些是可以一概而論的； 第二，使用者測試的成本效益分析表明，3-5個測試使用者的最佳比例，依賴于測試的風格。 初始的運行成本和測試計劃相關，多個使用者對於降低最初的成本效果更好。

什麼時候增加更多的測試使用者

當你的網站客戶群覆蓋到幾個不同高度的使用者群時，你需要增加更多的測試使用者。 上面公式的適用于網站的使用者群接 近或者差異很小時。 舉個例子，當你的網站客戶群是定位於父母和孩子時，你就需要充分考慮到兩個不同群裡的使用行為。 系統的相同之處是對於採購代理商的銷售 人員之間的連接。

甚至當使用者群體差異性完全不同時，在兩類人之間也可發現很多相似之處。 畢竟，所有的使用者都是人。 所有的可用性問題反應的都是人的行為與網站之間的互動和影響。

在測試不同的使用者群時，你不需要每個使用者群中都有很多測試人員（user），有以下的一個測試人員數目就足夠了：1、如果測試兩個使用者群，則每類群需要3-4個使用者；2、如果測試3個或更多的使用者群， 則每類有3個測試使用者就可以了（至少3個users就可以確保你覆蓋到某一個使用者群中的不同的行為）

參考：Nielsen, Jakob, and Landauer, Thomas K.: 「A mathematical model of the finding of usability problems,」 Proceedings of AC M INTERCHI’93 Conference (Amsterdam, The Netherlands, 24-29 April 1993), pp. 206-213.

本文來自：HTTP://article.yeeyan.org/view/3323/2018
英文原文：HTTP://www.useit.com/alertbox/20000319.html