Alpha版本測試報告

標籤：

一、引言

1.1 測試目的

　　（1）測試愛碼室團隊Alpha版本爬蟲的功能性、效率性和可靠性。

　　（2）解決更新測試出的Alpha版本爬蟲的Bug。

　　（3）統計資料進行記錄，方便日後與Beta版本比對。

1.2 編寫目的　　

　　（1）總結和測試Alpha階段開發工作單位的測試以及分析測試結果。

　　（2）描述系統是否符合Alpha的版本需求。

1.3 測試人員

　　符美瀟、周文祥。

1.4 測試周期

　　2015/11/9-2015/11/15。

 

二、測試概要

2.1 功能及效能測試中發現的額外bug

　　a)抓取頁面超出要求數目。

　　b)類型判斷錯誤，把含有pdf的URL判定為pdf類型的網頁。

　　c)專門性文檔的爬取任務無響應。

　　d)通用性爬取只識別html和pdf類型。

　　e)檔案儲存體位置異常。

　　f)下載頁面數和更新的資料庫項數不同。

　　g)頁面資訊存入資料庫而沒有把檔案下載到本地。

　　h)線程異常（未解決）

　　i)資料庫連接異常（未解決）

2.2 測試計劃

2.2.1 功能性

　　（1）系統實現的主要功能，包括根據使用者選擇的seed輸入方式進行種子輸入和需要爬取的網頁數目對相關URL進行爬取。

　　（2）系統實現的次要功能，包括顯示當前爬取進度，顯示當前爬取網頁的URL。

　　（3）URL輸入欄位必須不含有特殊字元。

2.2.2 可靠性

　　（1）操作按鈕提示資訊正確性，一致性，可理解性。

　　（2）限制條件提示資訊正確性，一致性，可理解性。

　　（3）輸入方式可理解性。

　　（4）中文介面下資料語言與介面語言的一致性。

2.2.3 可使用性

　　系統必須在實現使用者需求的層次上實現比較穩定的運行。同時和使用者的作業系統相容，保證使用者可以穩定地使用。

2.2.4 安全性

　　系統在爬取資料的過程中應該保證使用者的資訊和資料的安全。

2.2.5 效能

　　新版本的爬蟲應該爬取效率、速度更高。

 

三、測試內容和執行情況

3.1 功能測試

功能	基本要求	是否通過
資料庫連接	通過UI介面能夠串連上資料庫，並可以進行相關的操作	√
URL接收	能夠通過輸入或檔案接收種子URL	√
通用型爬取	能夠爬取系統能接受的所有類型的檔案，並在資料庫中記錄相關資訊，把檔案下載到本地	√
專門型爬取	只爬取特定的檔案類型，並在資料庫中記錄相關資訊，把檔案下載到本地	√
問答頁爬取	爬取問答頁並進行分類後儲存在本地	√
固定分析功能	能夠資訊的顯示分析結果	√
自訂分析功能	能夠根據使用者所設定的自訂關鍵字對爬取的檔案進行分析	√
進度表的顯示	進度表能夠即時地反應爬取狀態	√
爬取關鍵字設定	爬蟲能夠過濾掉不含有關鍵字的網頁	√

 

3.2 效能測試

3.2.1 通用爬取耗時對比

測試序號	爬取方式：URL地址	網頁數目	老版本花費時間（ms）	新版本花費時間(ms)
1	通用型爬取: http://ask.csdn.net	100	64276	47320
2	通用型爬取:http://q.cnblogs.com	100	21170	10006
3	通用型爬取: http://www.dewen.io	100	37152	15880

3.2.2 通用爬取極限網頁（TEST資料還沒交上，待完善）

測試序號	URL	極限爬取網頁數	耗時（ms）
1	http://www.eecs.berkeley.edu/Pubs/TechRpts/	4798	5981392
2
3
4
5
6
7

 

3.3 資源佔用

CPU佔用率（%）	記憶體佔用（）
40%~80%	350MB~600MB

3.4 可靠性

測試內容	基本要求	是否通過
掉電	客戶機掉電或強行關機後重啟機器，不遺失資料。	√
檔案下載	在爬蟲程式意外或者人為中斷時，已經爬取到的內容已經儲存。	√
爬取內容分類	爬蟲程式擷取資源後進行恰當分類，以保證資料的合理可靠	√

3.5 安全性

測試內容	基本要求	是否通過
資料庫安全性	資料庫對於使用者而言僅有查詢的許可權而沒有修改、刪除等許可權	√
爬取到的資訊的安全性	所爬取到的資訊放在特定的路徑內，只有指定使用者可以提取	√
使用者權限	所有授權使用者是否能在所授許可權下進行工作，不容許超許可權	×

 

3.6 易用性

測試內容	基本要求	是否通過
易安裝性	安裝參數給出預設值或提示，需要使用者幹預的地方盡量少，操作方便。	√
簡易介面	在參考功能使用說明書的前提下，能很輕鬆的使用該程式	√
操作簡易	直接通過雙擊表徵圖即可運行爬蟲程式	×
資料提取方便	通過重新導向隱藏檔路徑，使用者可以更加方便的找到儲存資源的檔案路徑	√

 

四、缺陷的統計與分析

缺陷類型	具體說明	原因分析
爬取動作異常	進行中爬取動作時，會有一些異常產生	沒有對異常充分定位並向開發人員反饋錯誤資訊。需要對這些異常進行處理，並把錯誤資訊拋出給開發人員
UI操作	UI的非法操作會使程式卡死	監聽器沒有專門對UI的非法輸入進行處理，爬蟲對使用者的容錯性小。

 

五、測試結論

　　愛碼室Alpha版本的爬蟲系統在多方面都進行一定的測試。大致進行的測試，包括內容總結如下：功能、可靠性、安全性、可使用性四個方面進行了全面、嚴格、規範的測試。測試結果表明：爬蟲達到Alpha版本發布的要求，並具有以下特點：

　　1、系統架構先進、簡單，且相比於原來的版本更加最佳化。

　　2、功能豐富度有所提高，如果繼續開發可以針對安全性進行進一步開發。

　　3、系統可靠性高，且相比於原來版本而言，分類更加明晰。對客戶機掉電或強行關機後重啟機器、網路異常中斷。有完善的資料校正機制，對使用者輸入不符合要求的資料，給出了簡潔、準確的提示資訊，必要時給出了協助。而同時，資料庫內資訊分類明晰，有利於使用者合理調用資料庫資訊。

　　測試結論：通過。

 

Alpha版本測試報告