python + Jquery，抓取西東網上的Java教程資源網址

標籤：中文   pre   find   ems   沒有   author   /usr   屬性   []   

#!/usr/bin/env python# -*- coding: utf-8 -*-# @Date    : 2018-06-15 14:01:45# @Author  : Chenjun ([email protected];)# @Link    : http://example.org# @Version : $Id$from pyquery import PyQuery as pqURL = ‘http://xidong.net/File001/File_25266.html‘lis = []def get_resource_lis(URL):    doc = pq(url=URL, encoding=‘utf-8‘)  #回應標頭部沒有聲明編碼類別型，需要手動說明，否則抓到的資料會中文亂碼    datas = doc(‘tr‘)   #通過網頁檢查發現資源放在表格的tr中    resource_lis = datas.items()     return lisdef main():    resource_lis = get_resource_lis(URL)    for source in resource_lis:        print(source.find(‘a‘).attr(‘href‘))  #取到每個tr中的a標籤的href屬性值，也就是我需要的地址
if __name__ == ‘__main__‘:    main()

#後續可以儲存到非關係型資料庫中

 

python + Jquery，抓取西東網上的Java教程資源網址