前段時間由於收集視頻資料的需要,自己搗鼓了一個YouKu視頻批量下載的程式。東西雖然簡單,但還挺實用的,拿出來分享給大家。
版本:Python2.7+BeautifulSoup3.2.1
import urllib,urllib2,sys,osfrom BeautifulSoup import BeautifulSoupimport itertools,reurl_i =1pic_num = 1
#自己定義的引號格式轉換函式
def _en_to_cn(str): obj = itertools.cycle(['“','”']) _obj = lambda x: obj.next() return re.sub(r"['\"]",_obj,str)if __name__ == '__main__':
#下載連續3個網頁的視頻
while url_i <= 3: webContent = urllib2.urlopen("http://news.youku.com/focus/index/_page26716_" + str(url_i) + ".html") data = webContent.read()
#利用BeautifulSoup讀取視頻列表網頁資料
soup = BeautifulSoup(data) print "-------------------------Page " + str(url_i) + "-------------------------" #獲得相應頁面的視頻thumbnail和title的list
tag_list_thumb = soup.findAll('li','v_thumb') tag_list = soup.findAll('li', "v_title") for item in tag_list: #通過每個thumbnail中的herf導向視頻播放頁面
web_video_play = urllib2.urlopen(item.a['href']) data_vp = web_video_play.read() #利用BeautifulSoup讀取視頻播放網頁資料
soup_vp = BeautifulSoup(data_vp) #找到“下載”對應的連結
tag_vp_list = soup_vp.findAll('a', id = 'fn_download') for item_vp in tag_vp_list: #將下載連結儲存到url_dw中
url_dw = '"' + item_vp['_href'] + '"' print item.a['title'] + ": " + url_dw #調用命令列運行iku下載視頻,需將iku加入環境變數
os.system("iku " + url_dw)
#儲存每個視頻的thumbnail for item_thumb in tag_list_thumb: urllib.urlretrieve(item_thumb.img['src'], "E:\\下載視頻\\thumbnails\\" + str(pic_num) + "." + _en_to_cn(item_thumb.img['title']) + ".jpg") pic_num += 1 print "--------------------------------------------------------------" print "--------Page " + str(url_i) + "'s video thumbnails have been saved!" url_i += 1
程式思想很簡單,就是通過解析網頁資料找到相應的視頻播放網頁連結,然後根據播放頁面找到下載的連結,如所示: