PHP抓取頁面的幾種方式_PHP教程

我們在開發網路程式時，往往需要抓取非本地檔案，一般情況下都是利用php類比瀏覽器的訪問，通過http請求訪問url地址， 然後得到html原始碼或者xml資料，得到資料我們不能直接輸出，往往需要對內容進行提取，然後再進行格式化，以更加友好的方式顯現出來。

下面簡單說一下php抓取頁面的幾種方法及原理:

一、 PHP抓取頁面的主要方法：

1. file()函數

2. file_get_contents()函數

3. fopen()->fread()->fclose()模式

4.curl方式

5. fsockopen()函數 socket模式

6. 使用外掛程式(如：http://sourceforge.net/projects/snoopy/)

二、PHP解析html或xml代碼主要方式：

1. file()函數

?123456789 //定義url$url='http://t.qq.com';　//fiel函數讀取內容數組$lines_array=file($url);　//拆分數組為字串　$lines_string=implode('',$lines_array);　//輸出內容，嘿嘿，大家也可以儲存在自己的伺服器上echo $lines_string;　

2. file_get_contents()函數
使用file_get_contents和fopen必須空間開啟allow_url_fopen。方法：編輯php.ini，設定 allow_url_fopen = On，allow_url_fopen關閉時fopen和file_get_contents都不能開啟遠程檔案。

?1234567//定義url $url='http://t.qq.com'; //file_get_contents函數遠程讀取資料$lines_string=file_get_contents($url); //輸出內容，嘿嘿，大家也可以儲存在自己的伺服器上 echo htmlspecialchars($lines_string);

3. fopen()->fread()->fclose()模式

?12345678910111213141516171819//定義url$url='http://t.qq.com'; //fopen以二進位方式開啟 $handle=fopen($url,"rb");//變數初始化$lines_string="";//迴圈讀取資料do{ $data=fread($handle,1024); if(strlen($data)==0) { break; } $lines_string.=$data; }while(true);//關閉fopen控制代碼，釋放資源fclose($handle); //輸出內容，嘿嘿，大家也可以儲存在自己的伺服器上echo $lines_string;

4. curl方式
使用curl必須空間開啟curl。方法：windows下修改php.ini，將extension=php_curl.dll前面的分號去掉，而且需 要拷貝ssleay32.dll和libeay32.dll到C:\WINDOWS\system32下；Linux下要安裝curl擴充。

?123456789101112131415// 建立一個新cURL資源$url='http://t.qq.com'; $ch=curl_init(); $timeout=5; // 設定URL和相應的選項curl_setopt($ch, CURLOPT_URL, $url);curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);// 抓取URL$lines_string=curl_exec($ch); // 關閉cURL資源，並且釋放系統資源curl_close($ch);//輸出內容，嘿嘿，大家也可以儲存在自己的伺服器上echo $lines_string;

5. fsockopen()函數 socket模式
socket模式能否正確執行，也跟伺服器的設定有關係，具體可以通過phpinfo查看伺服器開啟了哪些通訊協定。

?1234567891011121314$fp = fsockopen("t.qq.com", 80, $errno, $errstr, 30);if (!$fp) { echo "$errstr ($errno)
\n";} else { $out = "GET / HTTP/1.1\r\n"; $out .= "Host: t.qq.com\r\n"; $out .= "Connection: Close\r\n\r\n"; fwrite($fp, $out); while (!feof($fp)) { echo fgets($fp, 128); } fclose($fp);}

6. snoopy外掛程式，最新版本是Snoopy-1.2.4.zip Last Update: 2013-05-30，推薦大家使用

使用網上非常流行的snoopy來進行採集，這是一個非常強大的採集外掛程式，並且它的使用非常方便，你也可以在裡面設定agent來類比瀏覽器資訊。

?123456789101112//引入snoopy的類檔案require('Snoopy.class.php');//初始化snoopy類$snoopy = new Snoopy;$url = "http://t.qq.com";//開始採集內容$snoopy->fetch($url); //儲存採集內容到$lines_string$lines_string = $snoopy->results;//輸出內容，嘿嘿，大家也可以儲存在自己的伺服器上 echo $lines_string;

說明：設定agent是在 Snoopy.class.php 檔案的第45行，請在該檔案中搜尋 “var $agent” （引號中的內容）。瀏覽器內容你可以使用PHP來獲得，
使用 echo $_SERVER['HTTP_USER_AGENT']; 可以得到瀏覽器資訊，將echo出來的內容複寫到agent裡面就可以了。

http://www.bkjia.com/PHPjc/735061.htmlwww.bkjia.comtruehttp://www.bkjia.com/PHPjc/735061.htmlTechArticle我們在開發網路程式時，往往需要抓取非本地檔案，一般情況下都是利用php類比瀏覽器的訪問，通過http請求訪問url地址， 然後得到html源代...

