javascript - Python逐行讀取txt中的url檔案並進行爬蟲

畢設項目需要爬取coursera的課程資料，已經把所有課程的url連結爬下來了，存在了txt中，一行是一個課程的url，現在想要擷取每門課程的詳細資料，如instructor，syllabus 和detail information這幾項，但是都需要點進各個課程的網頁連結中取爬取。碼渣求大神指導一下，來段偽碼就更好啦！thx

回複內容：

畢設項目需要爬取coursera的課程資料，已經把所有課程的url連結爬下來了，存在了txt中，一行是一個課程的url，現在想要擷取每門課程的詳細資料，如instructor，syllabus 和detail information這幾項，但是都需要點進各個課程的網頁連結中取爬取。碼渣求大神指導一下，來段偽碼就更好啦！thx

你好！不知道這是不是你想要的答案：

f = open("coursera.txt","r")urlList = f.readlines()for url in urlList:    r = requests.get(url)    ''''''

Good Luck ! ^_<

如果是爬取coursera的課程資料，建議你用scrapy爬取，這樣不需要提前抓取所有課程的url，只要寫好匹配url就行。

scrapy教程 http://scrapy-chs.readthedocs.org/zh_CN/0.24/intro/tutorial.html
項目參考 https://github.com/Junnplus/OnlineJudgeCrawlerCore

