《2016上半年APP測試白皮書》：平均每款應用存在41個問題

標籤：

 

 

2016年已過半，目前，經過幾年高速發展後的國內市場移動互連網使用者量已經趨於飽和，這讓想要在該行業先發制人、出奇制勝的機會已經一去不複返。究竟App如今存在哪些方面的品質問題，不同類別的應用需要關注的內容是否相同？看似普通的相容性測試又有哪些被人忽略卻至關重要的關鍵點？這些問題就是阻礙你在這片拼殺激烈的商業紅海中站住腳跟的關鍵。

繼《2016年上半年手遊測試資料分析報告》後，TestBird再次重磅推出《2016上半年App測試白皮書》(以下簡稱白皮書)，希望通過上半年總共測試的20806款App 資料，為您直觀的展示App行業目前的品質概況，以期在您未來的市場發展和趨勢判斷中提供一些力所能及的協助。

20806款APP資料14類應用，深入解析APP問題分布

一款能夠長駐市場的應用必須保證品質和進行大量的效能最佳化，但不同類型的APP存在著不盡相同的品質問題，而瞭解各個類型APP主要的問題關鍵點在哪兒，我們才能夠順利地打造出一款成功的產品。

2016上半年， TestBird測試了20806款APP，涵蓋了“系統工具、通訊社交、影音視聽、新聞閱讀、生活休閑、辦公商務、攝影攝像、購物優惠、地圖旅遊、教育學習、金融理財、健康醫學、遊戲娛樂以及其他”14類應用。

白皮書對這14類APP的測試資料進行詳細的分析，譬如遊戲娛樂、影音視聽應用對手機的效能要求較其他類應用要高；攝影攝像類應用所發生的UI異常問題、程式異常問題也是最為嚴重的等等。

四大角度定義測試標準，詳細剖析應用品質

2016上半年，TestBird測試了20806款APP，發現APP品質問題主要集中在APP與終端的相容適配性、APP的功能以及終端的效能三個方面，同時由於APP使用對移動網路的依賴，加上移動網路的複雜和多變，客戶在使用APP時頻繁的面臨網路切換問題，對APP的使用體驗也有重要的影響。故而白皮書對APP品質問題從影響最關鍵和高頻的功能測試、相容性測試、網路測試和效能測試四個角度進行了詳細的研究。

首先在相容性測試方面，白皮書對將相容性問題詳細的分為安裝失敗、啟動失敗、閃退、卡頓、卡死、黑屏、資料異常、UI異常、串連異常和程式異常10大類，並對每類問題進行了標準定義。同時還結合CPU品牌、記憶體大小以及安卓版本等終端角度，對相容性問題機型了交叉分析。

 

其次，APP功能使用是否正常，是影響使用者體驗的最關鍵因素之一，針對功能測試方面，白皮書從註冊登入模組、定位服務模組、社交模組、個人資訊管理模組和其他模組5個維度進行了分析分類闡述。同時，還對功能問題對使用者體驗的影響程度進行了詳細的分級。

 

而針對APP網路測試方面，白皮書對常見的網路切換狀況進行了分類，並對每種狀況下出現的問題進行了詳細闡述。同時還從APP類型的角度，對不同類型APP都在弱網條件下的測試和問題發生情況進了分類分析，完整展現了網路環境對APP品質的影響。

 

一款應用的效能是否良好，主要來源於應用運行過程中的CPU佔用率、記憶體佔用值、溫度、啟動時延、流量資料等，通過這五項資料可以很好的反應一款應用的效能表現。所以，白皮書對5個角度進行了標準化的定義和詳細的資料分析。

 

 

平均每款APP 41個問題，程式閃退高達51%

2016上半年，TestBird在測試的20806款APP中總共發現864578個問題，平均每款APP存在41個問題，在14類應用中，地圖旅遊、遊戲娛樂兩種類型的APP平均問題檢出數量最多，分別為63和61個。

 

▲每類應用平均問題檢出數量

在各類相容性問題分析中，白皮書統計顯示閃退、UI異常、程式異常是相容性問題佔比最高的3大類問題，其中閃退問題佔比最高，達到51.65%。

 

▲各類相容性問題檢出率

在功能性問題的研發上，白皮書的分析顯示，有1/4的問題都發生在註冊登入模組，重點體現為第三方帳號登入失敗。從問題的嚴重程度上來看，大量的Bug中，會影響到使用者正常操作的A、B、C級問題合計將近80%，所以功能測試問題需要引起開發人員的高度重視。

 

▲問題模組分布統計

在APP網路問題分析中，白皮書顯示，伺服器互動失敗、掉線、資料擷取異常等情況易發生在通訊社交類、地圖旅遊類與生活休閑類APP上。而畫面時延增加、畫面卡頓以及無響應情況常發生於遊戲娛樂類應用上。

在APP的效能指標分析上，白皮書統計發現，在CPU佔用率上，遊戲娛樂類最高，健康醫學類最低；啟動時延方面，購物優惠類最大，其他類型最小；記憶體佔用上，購物優惠類最高，金融理財類最低；而在平均流量消耗上，攝影攝像類應用最大，健康醫學類應用則最小；手機平均溫度方面則是購物優惠類應用最高，系統工具類最低

4000款終端資料交叉分析，小米終端問題最少

目前，市面上安卓終端片段化極其嚴重，而相應相容性問題也隨著增加，TestBird通過對 4000款測試手機，曆經20000餘款APP測試後，通過深度的交叉分析為大家總結出了解析度、CPU、記憶體等方面對APP品質問題的影響，並期望開發人員能夠通過這些資料對測試機型進行相應的篩選，做針對性的測試。

從白皮書的資料來看，在眾多終端品牌中，大部分主流品牌的相容性整體較好，相對而言，小米的問題數最少。從系統版本上分析，Android 5.1的相容性情況最好，4.1的相容性問題最嚴重；在記憶體方面，4GB記憶體是一個分水嶺，4GB以上記憶體容量的問題檢出率穩定在8.44%左右，小於4G的手機，記憶體不足引起的問題較多；而在CPU品牌上，展訊出現的相容性問題較多，問題檢出率高達32%，我們熟知的聯發科和高通兩大類CPU品牌相容性問題檢出率相當，分別為9.6%和9.2%。

在IOS系統方面，白皮書也進行了專項的研究，發現2016年上半年平均每款程式IOS相容性測試檢測出8個以上問題，其中在系統層面上來說，IOS7問題檢出率達到22.84%，普遍高於IOS8和IOS9；在機型上，iphone6的問題檢出率達到12.59%，僅次於iphone4和iphone4s，高於其他機型。另外，相對於iphone，ipad問題檢出率明顯提高，其中mini1和mini2相容性問題最為突出。

 

▲iphone手遊測試問題檢出率

 

▲ipad測試問題檢出率

 

每款智能硬體105個問題，軟硬體連結最突出

目前智能硬體市場迎來爆髮式的增漲，智能硬體的測試和品質問題亦越來越受產商的重視，白皮書總結了TestBird上半年測試過151款智能硬體的經驗，專門就智能硬體測試進行了系統的分析。

白皮書將智能硬體分為智能穿戴裝置，智能家居，健康醫學，車連網，人工智慧，運動休閑，影音娛樂和其他8個類別，其中智能家居市場佔比最多，達到22.15%。

 

▲智能硬體各類型佔比

同時，智能硬體的品質問題也比較突出，上半年TestBird在智能硬體上一共發現了15925個問題，平均每款智能硬體問題數量達到105個以上，其中還發現，硬體本身問題佔比是最少的，反而軟硬體連結問題最多，這無疑需要引起廣大智能硬體廠商的注意和重視。

 

▲智能硬體問題佔比

新增實操案例，全乾貨指導APP品質提升

《2016年APP測試白皮書》不僅給行業帶來了一些測試經驗和乾貨內容，協助開發人員在進行APP測試時更有目的、有針對性的入手，而且還新增了相容性測試、功能測試以及智能硬體測試等大量不同類別的實操案例與測試日誌Q&A，並期望通過更加直觀的描述，為廣大開發人員提供一定的參考借鑒。

另外，在白皮書最後，TestBird依然毫無保留地針對APP各項測試問題，敘述了詳盡的解決方案。譬如針對相容性問題中最為嚴重的程式閃退情況，白皮書中對問題發生的原因進行了歸納並給出了相應的解決建議：

我們測試中發現APP閃退問題是所有相容性問題中出現最多的問題，閃退問題出現情境各不相同，常見原因因為記憶體不足、溫度過高、系統不相容、CPU不相容等。開發人員可以根據這幾種現象分析定位原因，找到閃退原因後根據需求最佳化。

 

正是由於TestBird穩紮穩打，在佔有70%手遊市場後，憑其測試技術的累積和測試經驗的豐富，順利將業務拓展至整個APP領域，並通過2016上半年測試多達20806款的APP，整合分析的864578個測試問題，最終順利推出了《2016上半年APP測試白皮書》，全面直觀地展示了App行業目前的品質概況，並望以此與廣大測試同胞一起分享 。

申請下載《2016上半年APP測試白皮書》完整版，請點擊：https://jinshuju.net/f/6fxt2F

 

《2016上半年APP測試白皮書》：平均每款應用存在41個問題