Python3擷取大量電影資訊：調用API，python3擷取調用api

Python3擷取大量電影資訊：調用API，python3擷取調用api

實驗室這段時間要採集電影的資訊，給出了一個很大的資料集，資料集包含了4000多個電影名，需要我寫一個爬蟲來爬取電影名對應的電影資訊。

 

其實在實際運作中，根本就不需要爬蟲，只需要一點簡單的Python基礎就可以了。

 

前置需求：

Python3文法基礎

HTTP網路基礎

 

===================================

第一步，確定API的提供方。IMDb是最大的電影資料庫，與其相對的，有一個OMDb的網站提供了API供使用。這家網站的API非常友好，便於使用。

http://www.omdbapi.com/

第二步，確定網址的格式。

第三步，瞭解基本的Requests庫的使用方法。

http://cn.python-requests.org/zh_CN/latest/

 

為什麼我要使用Requests，不使用urllib.request呢？

因為Python的這個庫容易出各種各樣的奇葩問題，我已經受夠了……

 

第四步，編寫Python代碼。

我想做的是，逐行讀取檔案，然後用該行的電影名去擷取電影資訊。因為源檔案較大，readlines()不能完全讀取所有電影名，所以我們逐行讀取。

 1 import requests 2  3 for line in open("movies.txt"): 4     s=line.split('%20\n') 5     urll='http://www.omdbapi.com/?t='+s[0] 7     result=requests.get(urll) 8     if result: 9         json=result.text10         print(json)11         p=open('result0.json','a')12         p.write(json)13         p.write('\n')14         p.close()

我預先把電影名檔案全部格式化了一遍，將所有的空格替換成了"%20"，便於使用API（否則會報錯）。這個功能可以用Visual Studio Code完成。

 

注意，編碼的時候選擇GBK編碼，不然會出現下面錯誤：

1 UnicodeDecodeError: 'gbk' codec can't decode byte 0xff in position 0: illegal multibyte sequence

 

第五步，做最佳化和異常處理。

主要做三件事，第一件事，控制API速度，防止被伺服器屏蔽；

第二件事，擷取API key（甚至使用多個key）

第三件事：異常處理。

 1 import requests 3  4 key=[‘’] 5  6 for line in open("movies.txt"): 7     try: 8         #…… 9     except TimeoutError:10         continue11     except UnicodeEncodeError:12         continue13     except ConnectionError:14         continue

 

下面貼出完整代碼：

 1 # -*- coding: utf-8 -*- 2  3 import requests 4 import time 5  6 key=['xxxxx','yyyyy',zzzzz','aaaaa','bbbbb'] 7 i=0 8  9 for line in open("movies.txt"):10     try:11         i=(i+1)%512         s=line.split('%20\n')13         urll='http://www.omdbapi.com/?t='+s[0]+'&apikey='+key[i]14         result=requests.get(urll)15         if result:16             json=result.text17             print(json)18             p=open('result0.json','a')19             p.write(json)20             p.write('\n')21             p.close()22             time.sleep(1)23     except TimeoutError:24         continue25     except UnicodeEncodeError:26         continue27     except ConnectionError:28         continue

接下來喝杯茶，看看自己的程式跑得怎麼樣吧！