day10_多線程3

來源:互聯網
上載者:User

標籤:ali   sof   子線程   .text   bbs   requests   join   完成   啟動   

# 多線程把六個網站寫到檔案裡(並行)

import requests,time,threading

def write_html(url,name):

    r = requests.get(url)

    with open(name,‘w‘,encoding = ‘utf8‘) as f:

        f.write(r.text)

urls = [‘www.nnzhp.cn‘,‘www.besttest.cn‘,‘www.imdsx.cn‘,‘sb.nnzhp.cn‘,‘bbs.besttest.cn‘,‘video.besttest.cn‘] #六個網站URL

lis = [] # 存放每個線程

start_time = time.time()

for url in urls: # 迴圈每個url

    new_file = ‘http://‘ + url

    file_name = url + ‘.html‘

    t = threading.Thread(target = write_html,args = (new_url,file_name)) # 執行個體化一個線程

    lis.append(t)

    t.start() # 啟動一個線程

# 啟動六個線程,讓他們跑著,主線程等他們,join就是主線程在等待每個子線程執行完成

for obj in lis:

   obj.join() # join必須放在啟動的六個線程外面

end_time = time.time()

print(‘程式總共運行了‘,end_time - start_time)

主線程等待的意思是讓子線程把所有的頁面都爬完,然後主線程發送郵件

day10_多線程3

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.