更新PHP平台開發時，抓取頁面的幾種方式

我們在開發網路程式時，往往需要抓取非本地檔案，一般情況下都是利用php類比瀏覽器的訪問，通過http請求訪問url地址， 然後得到html原始碼或者xml資料，得到資料我們不能直接輸出，往往需要對內容進行提取，然後再進行格式化，以更加友好的方式顯現出來。

下面簡單說一下php抓取頁面的幾種方法及原理:

一、 PHP抓取頁面的主要方法：

1. file()函數

2. file_get_contents()函數

3. fopen()->fread()->fclose()模式

4.curl方式

5. fsockopen()函數 socket模式

6. 使用外掛程式(如：http://sourceforge.net/projects/snoopy/)

二、PHP解析html或xml代碼主要方式：

1. file()函數

   
   
 
   
 
   
2. file_get_contents()函數
 使用file_get_contents和fopen必須空間開啟allow_url_fopen。方法：編輯php.ini，設定 allow_url_fopen = On，allow_url_fopen關閉時fopen和file_get_contents都不能開啟遠程檔案。
   
    
   
   
 
   
3. fopen()->fread()->fclose()模式
   
 
   
    
   
   
 
   
4. curl方式
 使用curl必須空間開啟curl。方法：windows下修改php.ini，將extension=php_curl.dll前面的分號去掉，而且需 要拷貝ssleay32.dll和libeay32.dll到C:\WINDOWS\system32下；Linux下要安裝curl擴充。
   
 
   
    
   
   
 
   
5. fsockopen()函數 socket模式
 socket模式能否正確執行，也跟伺服器的設定有關係，具體可以通過phpinfo查看伺服器開啟了哪些通訊協定。
   
 
   
    
\n";} else {    $out = "GET / HTTP/1.1\r\n";    $out .= "Host: t.qq.com\r\n";    $out .= "Connection: Close\r\n\r\n";    fwrite($fp, $out);    while (!feof($fp)) {        echo fgets($fp, 128);    }    fclose($fp);}
   
   
 
   
6. snoopy外掛程式，最新版本是Snoopy-1.2.4.zip Last Update: 2013-05-30，推薦大家使用
 
   
使用網上非常流行的snoopy來進行採集，這是一個非常強大的採集外掛程式，並且它的使用非常方便，你也可以在裡面設定agent來類比瀏覽器資訊。
   
    
fetch($url); //儲存採集內容到$lines_string$lines_string = $snoopy->results;//輸出內容，嘿嘿，大家也可以儲存在自己的伺服器上 echo $lines_string;
   
   
 
   

說明：設定agent是在 Snoopy.class.php 檔案的第45行，請在該檔案中搜尋 “var $agent” （引號中的內容）。瀏覽器內容你可以使用PHP來獲得，
使用 echo $_SERVER['HTTP_USER_AGENT']; 可以得到瀏覽器資訊，將echo出來的內容複寫到agent裡面就可以了。
   
 
   
浪風小園子 -- 比較認真的PHP平台開發
   
浪風先分享這麼多，以後會繼續分享我的小工具給大家。分享萬歲，技術永存。
   
本頁完整頁面地址：http://www.cnblogs.com/rirber/archive/2013/06/15/php-server-get-curl-data.html
   
 本頁網址縮短（url地址）：http://url.cn/EeOhAy
