php curl網站採集的實現程式

選擇curl的理由

關於curl與file_get_contents，摘抄一段通俗易懂的對比：
file_get_contents其實是一堆內建的檔案操作函數的合并版本，比如file_exists,fopen,fread,fclose，專門提供給懶人用的，而且它主要是用來對付本地檔案的，但又是因為懶人的原因，同時加入了對網路檔案的支援；
curl是專門用來進行網路互動的庫，提供了一堆自訂選項，用來應對不同的環境，穩定性自然要大於file_get_contents。

使用方法

1、開啟curl支援

由於php環境安裝後預設是沒有開啟curl支援的，需修改php.ini檔案，找到;extension=php_curl.dll，把前面的冒號去掉，重啟服務即可；

2、使用curl進行資料抓取

// 初始化一個 cURL 對象
$curl = curl_init();
// 設定你需要抓取的URL
curl_setopt($curl, CURLOPT_URL, 'http://www.111cn.net');
// 設定header
curl_setopt($curl, CURLOPT_HEADER, 1);
// 設定cURL 參數，要求結果儲存到字串中還是輸出到螢幕上。
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
// 運行cURL，請求網頁
$data = curl_exec($curl);
// 關閉URL請求
curl_close($curl);

3、通過正則匹配找到關鍵資料

//$data是curl_exec返回的的值，即採集的目標內容
preg_match_all("/<li class=＼"item＼">(.*?)<＼/li>/",$data, $out, PREG_SET_ORDER);
foreach($out as $key => $value){
    //此處$value是數組，同時記錄找到帶匹配字元的整句和單獨匹配的字元
    echo '匹配到的整句：'.$value[0].'
';
    echo '單獨匹配到的：'.$value[1].'
';
}

技巧

1、逾時的相關設定

通過curl_setopt($ch, opt) 可以設定一些逾時的設定，主要包括：
CURLOPT_TIMEOUT 設定cURL允許執行的最長秒數。
CURLOPT_TIMEOUT_MS 設定cURL允許執行的最長毫秒數。 (在cURL 7.16.2中被加入。從PHP 5.2.3起可使用。 )
CURLOPT_CONNECTTIMEOUT 在發起串連前等待的時間，如果設定為0，則無限等待。
CURLOPT_CONNECTTIMEOUT_MS 嘗試串連等待的時間，以毫秒為單位。如果設定為0，則無限等待。 在cURL 7.16.2中被加入。從PHP 5.2.3開始可用。

CURLOPT_DNS_CACHE_TIMEOUT 設定在記憶體中儲存DNS資訊的時間，預設為120秒。

curl_setopt($ch, CURLOPT_TIMEOUT, 60);   //只需要設定一個秒的數量就可以

curl_setopt($ch, CURLOPT_NOSIGNAL, 1);    //注意，毫秒逾時一定要設定這個
curl_setopt($ch, CURLOPT_TIMEOUT_MS, 200);  //逾時毫秒，cURL 7.16.2中被加入。從PHP 5.2.3起可使用

2、通過post提交資料，保留cookie

//以下摘抄一個例子過來，用於學習借鑒:
//Curl 類比登入 discuz 程式,適合DZ7.0
 
!extension_loaded('curl') && die('The curl extension is not loaded.');  
  
$discuz_url = 'http://www.111cn.net';//論壇地址  
$login_url = $discuz_url .'/logging.php?action=login';//登入頁地址  
$get_url = $discuz_url .'/my.php?item=threads'; //我的文章  
  
$post_fields = array();  
//以下兩項不需要修改  
$post_fields['loginfield'] = 'username';  
$post_fields['loginsubmit'] = 'true';  
//使用者名稱和密碼，必須填寫  
$post_fields['username'] = 'lxvoip';  
$post_fields['password'] = '88888888';  
//安全提問  
$post_fields['questionid'] = 0;  
$post_fields['answer'] = '';  
//@todo驗證碼  
$post_fields['seccodeverify'] = '';  
  
//擷取表單FORMHASH  
$ch = curl_init($login_url);  
curl_setopt($ch, CURLOPT_HEADER, 0);  
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);  
$contents = curl_exec($ch);  
curl_close($ch);  
preg_match('/<input＼s*type="hidden"＼s*name="formhash"＼s*value="(.*?)"＼s*＼/>/i', $contents, $matches);  
if(!empty($matches)) {  
    $formhash = $matches[1];  
} else {  
    die('Not found the forumhash.');  
}  
  
//POST資料，擷取COOKIE  
$cookie_file = dirname(__FILE__) . '/cookie.txt';  
//$cookie_file = tempnam('/tmp');  
$ch = curl_init($login_url);  
curl_setopt($ch, CURLOPT_HEADER, 0);  
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);  
curl_setopt($ch, CURLOPT_POST, 1);  
curl_setopt($ch, CURLOPT_POSTFIELDS, $post_fields);  
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);  
curl_exec($ch);  
curl_close($ch);  
  
//帶著上面得到的COOKIE擷取需要登入後才能查看的頁面內容  
$ch = curl_init($get_url);  
curl_setopt($ch, CURLOPT_HEADER, 0);  
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0);  
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);  
$contents = curl_exec($ch);  
curl_close($ch);  
  
var_dump($contents);

在使用curl 中有一些心得給各位分享一下

編碼轉換

首先通過查看原始碼找到採集的網站使用的編碼，通過mb_convert_encoding函數進行轉碼；
具體使用方法：

//源字元是$str
 
//以下已知原編碼為GBK，轉換為utf-8
mb_convert_encoding($str, "UTF-8", "GBK");
 
//以下未知原編碼，通過auto自動檢測後，轉換編碼為utf-8
mb_convert_encoding($str, "UTF-8", "auto");

3、為更好地避開分行符號和空格等不定因素的阻礙，有必要先清除採集到的源碼中的分行符號、空格符和定位字元

//方法一，使用str_replace進行替換
$contents = str_replace("＼r＼n", '', $contents); //清除分行符號
$contents = str_replace("＼n", '', $contents); //清除分行符號
$contents = str_replace("＼t", '', $contents); //清除定位字元
$contents = str_replace(" ", '', $contents); //清除空格符
 
//方法二，使用Regex進行替換

$contents = preg_replace("/([＼r＼n|＼n|＼t| ]+)/",'',$contents);

4、通過Regex匹配找出需要獲得的程式碼片段，使用preg_match_all實現該匹配

函數解釋：

int preg_match_all ( string pattern, string subject, array matches [, int flags] )
pattern即正規運算式
subject即要進行尋找的原文
matches是用於儲存輸出結果的數組
flags是儲存的模式，包括：
    PREG_PATTERN_ORDER;  //整個數組是二維數組，$arr1[0]是包括邊界所構成匹配字串的數組，$arr1[1]除去邊界所構成的匹配字串的數組
    PREG_SET_ORDER;  //整個數組是二維數組，$arr2[0][0]是第一個包括邊界所構成的匹配的字串，$arr2[0][1]是第一個除去邊界所構成的匹配的字串，之後的數組以此類推
    PREG_OFFSET_CAPTURE;  //整個數組是三維數組，$arr3[0][0][0]是第一個包括邊界所構成的匹配的字串，$arr3[0][0][1]是到達第一個匹配字串的邊界的位移量（邊界不算在內），之後以此類推，$arr2[1][0][0]是第一個包括邊界所構成的匹配的字串，$arr3[1][0][1]是到達第一個匹配字串的邊界的位移量（邊界算在內）;
 
//實際應用
preg_match_all('/<pclass=＼"content＼">(.*?)<＼/p>/',$contents, $out, PREG_SET_ORDER);
$out將擷取到所有匹配的元素
$out[0][0]將是包括<pclass=＼"content＼"></p>在內的全段字元
$out[0][1]將是僅包括(.*?)括弧內所匹配到的字元段
 
//如此類推，第n個匹配到的欄位可以用以下方法取得
$out[n-1][1]
 
//若Regex中存大多個括弧，則取得句中第m個匹配點的方法是
$out[n-1][m]

5、取得要找到字元後，若要去掉html標籤，使用PHP內建的函數strip_tags即可方便地實現
 
//例
$result=strip_tags($out[0][1]);

上面只是把資料擷取下載了，當然最好我們需要把$contents內容進入庫處理了，這裡就是簡單的php資料查詢儲存的功能了，非常簡單．