標籤:
TiD品質大會在北京召開,有幸去參加了兩場,都挺有收貨,下面把大會分享的內容,以及一些自己的簡單想法寫下來,希望能多多少少協助到一些人。
第一場參加的是Monkey的《移動互連網測試到品質的轉變之路》,入這行的人應該都知道Monkey吧,我就不多囉嗦了,下面看看真人:
Monkey對自己的自我介紹:
下面是我相信這些不論是大公司還是小公司都會面臨的一些問題:
而這其中最為關鍵的一點就是:
在迭代如此之快的互連網產品中,如何在這麼短的測試時間內保證業務的品質?
這個問題不著急回答,首先我們看看下面這個比較直觀的一個期望:
首先提到的是人,也就是測試人員,我們看看對測試人員的期望是哪些:
首先是測試技術:
看到這幅圖非常的贊同,我們可以看到金字塔的塔尖就是所謂的“高大上”的測試開發的技術,現在整個行業都太過於浮躁,都是過分的看中測試人員的技術,這樣會使得我們脫離我們的本質,我們是測試工程師,但是對測試理論的概念和理解卻越來越淡薄,如果整個行業都是這樣一直下去的話,那麼我們測試行業就會挺危險的,真的有一天可能就會被所謂的測試開發(開發人員)或者是運營測試(運營人員)所取代,因此這裡我們一定要注重測試本身的一些理論知識。
接著是一專多能,這裡寫的比較直觀,多說一嘴就是定位問題,取個例子,當我們在測試過程中如果發現一個介面的list滑動特別的卡頓,這個時候就去提交一個bug的時候,開發很容易給你打回來,因為這個是一個主觀的東西,這種問題很有可能開發就會說這裡不卡啊,然後把bug給你踢回去,這樣踢來踢去沒有任何的意義,我們需要做的是,最好能直接定位卡頓的問題,然後報給開發,這樣我相信開發就不會輕易的給你踢回來了吧。
業務品質佔比到KPI的60%,可以看到業務品質是我們必須要保證的,我這裡想說說技術提升,這裡不是說你學會了哪些哪些技術,而是你學會了哪些哪些技術後落地到了你的項目,並且取得的一定的效果,千萬不要純粹為了提升自己的自己自嗨,這樣也不是測試團隊的希望的。
最後一個是人員招聘,這個我沒有招聘過人,沒有話語權,用Monkey的話說就是你會什麼並不重要,最low的面試官就是用自己擅長的東西去考察別人,沒有任何意義,招聘人員應該注重應聘者學習能力,學習的途徑,以及看問題的高度。
Monkey說他之前和一家公司的測試經理交流,那位測試經理告訴他我們的自動化、專項已經做很好了,也投入了大量的人力,為什麼我們在整個測試中還是感覺有點把控不住品質的呢?其實這些所謂的自動化、專項在整個產品的過程中是屬於比較下遊的東西,而把握好上遊,就需要我們站在品質的高度去看待問題,這幅圖有些看不清楚,等PPT出來之後,我會替換一張清楚的圖,這裡就是我們需要關注到的一些品質的細節的部分。
接下來講的是下遊的東西:
這裡對它提到的三點進行說明一下:
1、用戶端ui自動化只適用於冒煙和迴歸
2、後端的API、介面需要覆蓋
3、當需要做類似掃描支付這樣的耗電量的時候,往往是配合自動化一起來完成
這個說的很實在不像有些吹的說,我們的自動化覆蓋率90%以上,一聽就是吹牛。這裡提到一個這樣一個事情,就是滴滴這樣的產品,涉及到司機端和乘客端的時候,這個時候可能就需要一套架構和架構間通訊的自動化工具了。
專項測試,這裡他建議專項測試招聘一些有經驗的人,因為做業務測試的同學大多數情況下是知道了預期結果然後和實際結果比對,而專項測試在得到一個耗電量的指標之後,他也不知道這個指標是好是壞,這個時候就需要用經驗值來判斷了,另外就是弱網路類比2G的時候,到底上下行以及抖動、時延該設定多少,這些都需要有經驗的人來做。
這裡列了一個測試網路的時候需要考慮的到的一些內容:
接下來是品質大盤:
這個比較有意思,
首先說這是什嗎?這個是每個模組的好壞進行的一個打分評估。
為什麼要對這些模組進行評估呢?因為有些情境(例如頁面啟動時間)測試人員在測試環境下測出的資料往往和線上真實使用者才的資料不一致,無法判斷是否會對線上使用者有影響。
通過什麼樣的方式呢?通過埋點,在灰階時候的進行評估。
如何埋呢?和普通埋點有什麼不一樣?首先他們把業務的代碼分成了三個層,底層架構層,埋的是普通的事件,其次組件層,埋例如網路相關的,看網路延遲,最上層業務層埋啟動時間等等。在得到這些大資料之後,對資料進行一個清洗,然後通過複雜的公式得到一個打分的值。
項目流程比較清洗,沒什麼多說的。
平台的演變比較有意思:
之前是工具組給業務組做工具,業務組總是抱怨工具組的東西不接地氣,並且難用,工具組的同學迫於kpi壓力,不斷研發新需求,而不修改一些bug,這樣導致互相抱怨。改版後,工具組只提供底層基礎的服務,業務的同學用工具組提供的能力來開發適用於自己業務的東西。這讓我想起了小松鼠和GT。
最後回到最初的問題,而答案呢?就是:
楚門的世界。
【行業交流】2016 TiD品質競爭力大會——移動互連網測試到品質的轉變之路