醫學教育網爬蟲程式（直播）

標籤：http   os   java   on   檔案   資料   ad   as   tt   

12－18

今晚接到老姐的電話，說她已在“醫學教育網”訂購了不少視頻，要我幫她將所有的視頻都下載下來。
我看了一下，裡面有24門科目，每門科目有40多節。要我手動一個一個下，還不如讓我去死。
這種重複的事情還是讓程式來做吧！這裡開一篇部落格直播編寫的過程。

被耙梳址：http://www.med66.com/

前幾天我剛做完一個Qihuiwang的爬蟲軟體。這次我評估了一下，這次要做的視頻下載爬蟲程式比上次又有新的挑戰：

（1）要處理登陸的過程，上一個不需要登陸就可以直接爬。這次必須要登陸才行。涉及到post資料表的過程

（2）要識別JavaScript程式。我看一下，在我擷取網頁的那個按鈕上寫的是 onclick="goDownload(‘700914‘, ‘ ‘)。這個要轉換進行轉換成url地址

（3）下載需要記載哪些檔案已經下載了，以免每次啟動程式都從頭開始下載。這是不合理的。

（4）下載的檔案要以課程進行目錄組織。

網站路徑如下：

登陸頁面 -(登陸)-> 學員課程頁面 -(進入課程)-> 目錄頁面 -(下載中心)-> 下載頁面 --> 小節視頻

好，明天開搞，盡情關注！

醫學教育網爬蟲程式（直播）