利用curl抓取網頁資料,phantomjs..請神人解

來源:互聯網
上載者:User
小弟昨天有發文請教,有很多的神人給我小弟很大的幫忙,目前只剩下一小塊的資料未抓到。

有大大說用 phantomjs來抓取html
目前的js如
var page = require('webpage').create();
var url = 'http://www.cbssports.com/mlb/gametracker/live/MLB_20140528_CLE@CHW';

page.open(url, function (status) {var js = page.evaluate(function () {return document;});console.log(js.all[0].outerHTML);phantom.exit();});

誤錯,顯示不出正確的hmtl
另 phontomjs是一個執行檔,我要怎麼每秒讓他自動執行,用 php ? 因為在php 裡我目前只能用
exec("start d:\phantomjs script.js ")
讓它自動產生本文檔,然後針對本文檔作解析,但一直沒有辦法執行,求神人解

2014 05 23 更新

之前在網站上有提出,有抓到幾個資料。
先看一下我的程式如下:
$url ="http://www.cbssports.com/mlb/gametracker/live/MLB_20140529_SF@STL";
$ch = curl_init();
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.22 (KHTML, like Gecko) Chrome/25.0.1364.172 Safari/537.22");
curl_setopt($ch, CURLOPT_FOLLOWLOCATION ,1);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 0);
$data = curl_exec($ch);
preg_match_all('/(.?)<\/span>/is',$data,$teamCity);
preg_match_all('/(.
?)<\/span>/is',$data,$teamName);…….以下為正規化

未抓出的資料部份如下:(紅字為抓不出來的)(以下只是部份)

裡面會有一個

或是

<

div class=”batter-pitcher fleft”>

<

table>裡面的

重點在於,部份的資料,不管你用什麼瀏覽器的「另存新檔」 save as 或是 「檢視原始碼」,都看不到上列的這資料。 而 div class=”batter-pitcher fleft” 這部份的資料目前已知是 JS 的 batter_ingame_stats function是跑「進行比賽中的」

而另一個function function() { CBSi.app.BaseRunners = function(args 則是跑 「誰在壘上」右下角那個 「球場的表徵圖」的資料 ,目前只剩這幾個部份抓不出。

很多神人大大說,「就抓js呀」,但是,就問不到要如何抓。

跪求各位大大給個方向。

這一個話題的 討論在:http://segmentfault.com/q/1010000000522277

目前直播賽事:http://www.cbssports.com/mlb/gametracker/live/MLB_20140529_SF@STL

回複內容:

小弟昨天有發文請教,有很多的神人給我小弟很大的幫忙,目前只剩下一小塊的資料未抓到。

有大大說用 phantomjs來抓取html
目前的js如
var page = require('webpage').create();
var url = 'http://www.cbssports.com/mlb/gametracker/live/MLB_20140528_CLE@CHW';

page.open(url, function (status) {var js = page.evaluate(function () {return document;});console.log(js.all[0].outerHTML);phantom.exit();});

誤錯,顯示不出正確的hmtl
另 phontomjs是一個執行檔,我要怎麼每秒讓他自動執行,用 php ? 因為在php 裡我目前只能用
exec("start d:\phantomjs script.js ")
讓它自動產生本文檔,然後針對本文檔作解析,但一直沒有辦法執行,求神人解

2014 05 23 更新

之前在網站上有提出,有抓到幾個資料。
先看一下我的程式如下:
$url ="http://www.cbssports.com/mlb/gametracker/live/MLB_20140529_SF@STL";
$ch = curl_init();
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.22 (KHTML, like Gecko) Chrome/25.0.1364.172 Safari/537.22");
curl_setopt($ch, CURLOPT_FOLLOWLOCATION ,1);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 0);
$data = curl_exec($ch);
preg_match_all('/(.?)<\/span>/is',$data,$teamCity);
preg_match_all('/(.
?)<\/span>/is',$data,$teamName);…….以下為正規化

未抓出的資料部份如下:(紅字為抓不出來的)(以下只是部份)

的資料都抓不出來

裡面會有一個

或是

<

div class=”batter-pitcher fleft”>

<

table>裡面的

重點在於,部份的資料,不管你用什麼瀏覽器的「另存新檔」 save as 或是 「檢視原始碼」,都看不到上列的這資料。 而 div class=”batter-pitcher fleft” 這部份的資料目前已知是 JS 的 batter_ingame_stats function是跑「進行比賽中的」

而另一個function function() { CBSi.app.BaseRunners = function(args 則是跑 「誰在壘上」右下角那個 「球場的表徵圖」的資料 ,目前只剩這幾個部份抓不出。

很多神人大大說,「就抓js呀」,但是,就問不到要如何抓。

跪求各位大大給個方向。

這一個話題的 討論在:http://segmentfault.com/q/1010000000522277

目前直播賽事:http://www.cbssports.com/mlb/gametracker/live/MLB_20140529_SF@STL

var page = require('webpage').create();page.open('http://segmentfault.com/', function(status) {  var ua = page.evaluate(function() {    return document.body.outerHTML;  });  console.log(ua);  phantom.exit();});
  • 的資料都抓不出來

    這麼寫

    聯繫我們

    該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

    如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

    A Free Trial That Lets You Build Big!

    Start building with 50+ products and up to 12 months usage for Elastic Compute Service

    • Sales Support

      1 on 1 presale consultation

    • After-Sales Support

      24/7 Technical Support 6 Free Tickets per Quarter Faster Response

    • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.