使用phantomjs進行網頁抓取的實現代碼，phantomjs抓取

使用phantomjs進行網頁抓取的實現代碼，phantomjs抓取

phantomjs因為是無頭瀏覽器可以跑js，所以同樣可以跑dom節點，用來進行網頁抓取是再好不過了。

比如我們要批量抓取網頁 “曆史上的今天” 的內容。網站

對dom結構的觀察發現，我們只需要取到 .list li a的title值即可。因此我們利用進階選取器構建dom片段

var d= ''var c = document.querySelectorAll('.list li a')var l = c.length;for(var i =0;i<l;i++){d=d+c[i].title+'\n'}

之後只需要讓js代碼在phantomjs裡跑起來即可~

var page = require('webpage').create();page.open('http://www.todayonhistory.com/', function (status) { //開啟頁面if (status !== 'success') {console.log('FAIL to load the address');} else {console.log(page.evaluate(function () {var d= ''var c = document.querySelectorAll('.list li a')var l = c.length;for(var i =0;i<l;i++){d=d+c[i].title+'\n'}return d}))}phantom.exit();});

最終我們另存新檔catch.js，在dos裡面執行一下，輸出內容到txt檔案(也可以用phantomjs的檔案api來寫)

助：抓取網頁時怎調用外部的JavaScript代碼？

你應該做的不是運行js而是類比js行為。期望運行js來完成你的功能這個想法本身就存在問題，所以即使能用類似SpiderMonkey來運行js，也與你的目的相去甚遠。因為原來的js運行在瀏覽器上，寄生於瀏覽器這個環境之上，而python運行在本地。要實現你的功能，首先要分析js的行為，用瀏覽器調試工具，或抓包工具分析中間是怎麼通訊的，然後用python類比js的行為，發送http請求。
最後提醒你一下，有道的這段js不是一次性擷取全部網頁，而是先解析，再每個詞發送，如果你只是要找出難詞，就很有必要研究一下有道的js是是怎麼解析得到難詞的。
 
怎實現網頁資料抓取？說詳細點

實現網頁資料抓取是搜尋引擎的準系統之一。每個獨立的搜尋引擎都有自己的網頁抓取程式（spider）。Spider順著網頁中的超連結，連續地抓取網頁。被抓取的網頁被稱之為網頁快照。由於互連網中超連結的應用很普遍，理論上，從一定範圍的網頁出發，就能搜集到絕大多數的網頁。
發現、抓取網頁資訊需要有高效能的“網路蜘蛛”程式(Spider)去自動地在互連網中搜尋資訊。一個典型的網路蜘蛛工作的方式，是查看一個頁面，並從中找到相關資訊,然後它再從該頁面的所有連結中出發，繼續尋找相關的資訊，以此類推，直至窮盡。網路蜘蛛要求能夠快速、全面。網路蜘蛛為實現其快速地瀏覽整個互連網，通常在技術上採用搶先式多線程技術實現在網上聚集資訊。通過搶先式多線程的使用，你能索引一個基於URL連結的Web頁面，啟動一個新的線程跟隨每個新的URL連結，索引一個新的URL起點。當然在伺服器上所開的線程也不能無限膨脹，需要在伺服器的正常運轉和快速收集網頁之間找一個平衡點。在演算法上各個搜尋引擎技術公司可能不盡相同，但目的都是快速探索Web頁和後續過程相配合。目前國內的搜尋引擎技術公司中，比如百度公司的網路蜘蛛採用了可定製、高擴充性的調度演算法使得搜尋器能在極短的時間內收集到最大數量的互連網資訊，並把所獲得的資訊儲存下來以備建立索引庫和使用者檢索。