老男孩教育每日一題-2017年3月31日-awk數組統計

標籤：awk數組   每日一題   

老男孩教育每日一題-2017年3月31日-awk數組統計

處理以下檔案內容,將網域名稱取出並根據網域名稱進行計數排序處理:(百度和sohu面試題)

http://www.etiantian.org/index.htmlhttp://www.etiantian.org/1.htmlhttp://post.etiantian.org/index.htmlhttp://mp3.etiantian.org/index.htmlhttp://www.etiantian.org/3.htmlhttp://post.etiantian.org/2.html

要求結果：

mp3.etiantian.org 1post.etiantian.org 2www.etiantian.org 3

 

思路：

1. 取出網域名稱

   1.  以斜線為菜刀取出第二列（網域名稱）

2. 進行加工

   1. 建立一個數組

   2. 把第二列（網域名稱）作為數組的下標

   3. 通過類似於i++的形式進行計算數量

3. 統計後把結果輸出

 

答案：

awk -F "/+" ‘{hotel[$2]++}END{for(pol in hotel) print pol,hotel[pol]}‘ url.txt|sort -rnk2

示範：

[[email protected] awkfile]# awk -F "/+" ‘{hotel[$2]++}END{for(pol in hotel) print pol,hotel[pol]}‘ url.txt|sort -rnk2www.etiantian.org 3post.etiantian.org 2mp3.etiantian.org 1

我們先不要著急整體分析這個結果，我們把這個結果分為幾個裡程碑逐個擊破。

• 第一個裡程碑-取出想要的內容

根據題目要求我們需要取出網域名稱。awk -F "/+" ,需要用到+表示連續的。

[[email protected] awkfile]# awk -F "/+"‘{print $2}‘ url.txtwww.etiantian.orgwww.etiantian.orgpost.etiantian.orgmp3.etiantian.orgwww.etiantian.orgpost.etiantian.org

• 第二個裡程碑-建立數組

我們接下來建立數組，數組名字還是hotel，每個元素（房間）

[[email protected] awkfile]# awk -F "/+"‘{hotel[$2]}‘ url.txt                 ###建立數組[[email protected] awkfile]# awk -F "/+"‘{hotel[$2];print $2}‘ url.txt        ##建立數組，並通過print 輸出元素名字（房間號碼）www.etiantian.orgwww.etiantian.orgpost.etiantian.orgmp3.etiantian.orgwww.etiantian.orgpost.etiantian.org

• 第三個裡程碑-進行統計

[[email protected] awkfile]# awk -F "/+"‘{hotel[$2]++}‘ url.txt       ###建立數組[[email protected] awkfile]# awk -F "/+"‘{hotel[$2]++;print $2,hotel[$2]}‘ url.txt  ##建立數組，並通過print 輸出元素名字（房間號碼），房間內容 www.etiantian.org 1www.etiantian.org 2post.etiantian.org 1mp3.etiantian.org 1www.etiantian.org 3post.etiantian.org 2

$2表示的是每一行的第二列，是一個變數。

hotel[$2]++這種形式類似於前面的i++，只不過把變數i換成了數組hotel[$2],相當於把原來的一個插間的房子，換成了一個公寓樓。

下面我們詳細分析下awk如何統計www.etiantian.org重複了多少次。

這裡我們只關注www.etiantian.org重複的次數。

 

• 讀取第一行：

以"/+"連續的/為菜刀，切割$2就是www.etiantian.org，

把他放在數組中就是hotel["www.etiantian.org"]，

進行統計 hotel["www.etiantian.org"]=hotel["www.etiantian.org"]+1

hotel酒店中www.etiantian.org房間原來沒有東西，可以理解為空白的。所以hotel["www.etiantian.org"]=空+1 最後這個房間放入了數字1.

 

• 讀取第二行：

  $2還是www.etiantian.org.

統計就是 hotel["www.etiantian.org"]=hotel["www.etiantian.org"]+1

因為上面我們已經往hotel酒店的www.etiantian.org房間放入數字1，所以現在

hotel["www.etiantian.org"]=1+1hotel酒店www.etiantian.org房間內容應該是2

• 讀取第三行：

  $2是post.etiantian.org.

不是我們想要的www.etiantian.org所以www.etiantian.org房間內容還是2不會變化。

• 讀取第四行：

  $2是mp3.etiantian.org

不是我們想要的www.etiantian.org所以www.etiantian.org房間內容還是2不會變化。

• 讀取第五行：

  $2還是www.etiantian.org.

統計就是 hotel["www.etiantian.org"]=hotel["www.etiantian.org"]+1

因為上面我們已經往hotel酒店的www.etiantian.org房間放入數字2，所以現在

hotel["www.etiantian.org"]=2+1hotel酒店www.etiantian.org房間內容應該是3

• 讀取第六行：

  $2是post.etiantian.org

不是我們想要的www.etiantian.org所以www.etiantian.org房間內容還是3不會變化。

 詳細過程表格

只查看hotel["www"]房間的內容

行號	$2的內容	hotel["www"]之前的內容	hotel["www"] = hotel["www"] + 1的過程	hotel["www"]之後的內容
1	www	空	hotel["www"] = 空 + 1	1
2	www	1	hotel["www"] = 1 + 1	2
3	post	2	不是www不進行加1	2
4	mp3	2	不是www不進行加1	2
5	www	2	hotel["www"] = 2 + 1	3
6	post	3	不是www不進行加1	3

• 總結：

最終結果是：

[[email protected] awkfile]# awk -F "/+" ‘{hotel[$2]++}END{for(pol in hotel) print pol,hotel[pol]}‘ url.txt|sort -rnk2www.etiantian.org 3post.etiantian.org 2mp3.etiantian.org 1

最佳化後的結果：

[[email protected] awkfile]# awk -F "/+" ‘{hotel[$2]++}END{for(pol in hotel) print pol,hotel[pol]}‘ url.txt|sort -rnk2|column -twww.etiantian.org   3post.etiantian.org  2mp3.etiantian.org   1

可以通過，column 命令讓結果優雅一些，比awk的printf方便些。

本文出自 “悠久之翼的部落格” 部落格，請務必保留此出處http://youjiu.blog.51cto.com/3388056/1912219

老男孩教育每日一題-2017年3月31日-awk數組統計