資料採礦_多線程抓取

標籤：二次   bubuko   通過   運算   開啟   判斷   不同   情況   coding   

在這一篇文章中，我們主要來介紹多線程抓取資料。

 

多線程是以並發的方式執行的，在這裡要注意，Python的多線程程式只能運行在一個單核上以並發的方式運行，即便是多核的機器，所以說，使用多線程抓取可以極大地提高抓取效率

 

下面我們以requests為例介紹多線程抓取，然後在通過與單線程程式比較，體會多線程的效率的提高

 

這一次，我就不用我的網站做測試了，因為網站的內容此時還並不是太多，不能體現多線程的優勢

 

我們通過噹噹網來測試我們的多線程執行個體，通過對搜尋結果的同一抓取實現功能的示範，搜尋模式地址如下

http://search.dangdang.com/?key=Python&act=input&page_index=1

　可以看到key代表的是搜尋索引鍵，act代表你是通過什麼方式搜尋的，page_index代表的是搜尋網頁面的頁碼

 

在抓取到上面的頁碼後，要對裡面的資訊進行提取，最後將提取的資訊儲存在文字檔中，檔案中儲存每一本書的書名，以及他的連結

 

下面我們定義抓取實驗所需要的方法(或函數)

# coding=utf-8__Author__ = "susmote"import requestsfrom bs4 import BeautifulSoupdef format_str(s):    return s.replace("\n", "").replace(" ", "").replace("\t", "")def get_urls_in_pages(from_page_num, to_page_num):    urls = []    search_word = "python"    url_part_1 = "http://search.dangdang.com/?key="    url_part_2 = "&act=input"    url_part_3 = "&page_index="    for i in range(from_page_num, to_page_num + 1):        urls.append(url_part_1 + search_word + url_part_2 + url_part_3 + str(i))    all_href_list = []    for url in urls:        print(url)        resp = requests.get(url)        bs = BeautifulSoup(resp.text, "lxml")        a_list = bs.find_all("a")        needed_list = []        for a in a_list:            if ‘name‘ in a.attrs:                name_val = a[‘name‘]                href_val = a[‘href‘]                title = a.text                if ‘itemlist-title‘ in name_val and title != "":                    if [title, href_val] not in needed_list:                        needed_list.append([format_str(title), format_str(href_val)])        all_href_list += needed_list    all_href_file = open(str(from_page_num) + ‘_‘ + str(to_page_num) + ‘_‘ + ‘all_hrefs.txt‘, ‘w‘)    for href in all_href_list:        all_href_file.write(‘\t‘.join(href) + ‘\n‘)    all_href_file.close()    print(from_page_num, to_page_num, len(all_href_list))

　　下面我們來解釋一下這些代碼

首先，format_str是用來在提取資訊後去掉多餘的空白

而get_url_in_pages方法是執行功能的主體，這個方法接收的參數是指頁碼的範圍，函數體中，urls主要用來存放基於兩個參數所產生的所有要抓取的頁面的連結，我把url分為3個部分，也是為了方便之後對連結的組合，然後的for迴圈就是做的是拼接的工作，這裡我不多做解釋了，如果不懂，請留言

下一步，我們定義了一個列表all_href_list ,這個列表是用來儲存每頁中包含圖書資訊的，實際上它又是一個嵌套的列表，裡面的元素是[書名， 連結],他的形式如下所示

all_href_list = [    [‘書名1‘， "連結1"],    [‘書名2‘， "連結2"],    [‘書名3‘， "連結3"],    ......]

 

後面的代碼就是對滅一頁進行抓取和提取資訊了，這部分的代碼都在for url in urls這個迴圈體中，首先列印連結，然後調用requs的get方法，擷取頁面，之後又使用BeautifulSoup將get請求放回的HTML文本進行分析，轉為BeautifulSoup能夠處理的結構，命名為bs

之後我們定義的needed_list是用來存放書名和連結的，bs.find_all(‘a‘)抽取了頁面中所有的連結元素,for a in a_list 對每一個列表中的元素進行遍曆分析，在這之前，我們通過瀏覽器發現了他的結構

每個書籍元素中都會有一個屬性name,值為"itemlist_title"，通過這個我們很容易的就篩選出了書籍元素，然後將書籍資訊，以及連結元素href一同存入列表，在存之前，我們還做了一些判斷，是否已經存在這個連結了，和這個元素的連結為空白

每抽取完一個頁面的連結後，就可以把它加入到all_href_list中，也就是下面這行代碼

all_href_list += needed_list

　　注意我在這裡使用的是 += 運算子

擷取到範圍內所有的連結元素後，就可以寫入檔案了，在這裡我不做過多解釋了

 

然後我們下一步就是定義多線程了，因為我們搜尋關鍵詞總的頁數是32頁

 

所以我們在這裡準備用3個線程來完成這些任務，也就是每個線程處理10個頁面，在單線程的情況下，這30頁用一個線程單獨完成

下面我們給出抓取方案的代碼

# coding=utf-8__Author__ = "susmote"import timeimport threadingfrom mining_func import get_urls_in_pagesdef multiple_threads_test():    start_time = time.time()    page_range_list = [        (1, 10),        (11, 20),        (21, 32),    ]        th_list = []    for page_range in page_range_list:        th = threading.Thread(target = get_urls_in_pages, args = (page_range[0], page_range[1]))        th_list.append(th)        for th in th_list:        th.start()            for th in th_list:        th.join()            end_time = time.time()    print("共使用時間1:", end_time - start_time)    return end_time - start_time

　　

簡單解釋一下，為了擷取啟動並執行時間，我們定義了一個開始時間start_time 和 一個結束時間end_time，已耗用時間也就是結束時間減去開始時間

然後定義的一個列表page_range_list也就是把頁碼分為三段，前面有提到過

之後又定義了一個列表th_list也就是儲存所有線程對象的列表，之後通過一個迴圈，產生了3個線程對象，分別對應著不同的頁碼範圍，把他們存入列表

然後在後面的迴圈中，分別執行th.start()，開啟線程，在後面，我們為了使這些非同步並發執行的線程都執行完畢後再退出函數，這裡使用了線程的join方法,等待各線程執行完畢

 

下面就是最激動人心的時候了，對代碼進行測試

在這裡，我們寫下如下代碼

# coding=utf-8__Author__ = "susmote"from mining_threading import multiple_threads_testif __name__ == "__main__":    mt = multiple_threads_test()    print(‘mt‘, mt)

　　

為了使測試結果更加精確，我們進行三次實驗，取平均時間 

第一次實驗

使用時間6.651

第二次實驗

 

使用時間6.876

第三次實驗

 

使用時間6.960

 

平均時間如下

6.829

 

下面是單進程代碼

# coding=utf-8__Author__ = "susmote"import timefrom mining_func import get_urls_in_pagesdef sigle_test():    start_time = time.time()    get_urls_in_pages(1, 32)    end_time = time.time()    print("共使用時間 : ", end_time - start_time)    return end_time - start_time 

　　

調用函數如下

# coding=utf-8__Author__ = "susmote"from single_mining import single_testif __name__ == "__main__":    st = single_test()    print(‘st ‘, st) 

　　

在命令列下執行

 

第一次

10.138

 

第二次

10.290

 

第三次

10.087

 

平均花費時間

10.171

 

所以說，多線程的確能夠提高抓取的效率，注意，這是在資料比較少的情況進行的，如果資料量比較大的話，多線程的優勢就很明顯了

你可以自己去更改搜尋關鍵詞，和頁碼，或是重新找一個網頁(抓取跟網速也有很大的關係)

 

附幾張抓取資料的圖

 

 

資料採礦_多線程抓取