php同步大量採集，超難問題，新手勿進，謝謝

1、程式類似myip.cn/wanben.net ，他的站可以在3秒內採集出wanben.net的所有資訊。

2、我通過php也可以完成採信wanben.net的全部資訊，但速度太慢，如
採集網站title
採集alexa資訊
採集網域名稱資訊
採集伺服器資訊，

我通過php寫的程式，要順序執行所有代碼。所以時間很長，全部採集完成要15秒左右

而myip.cn採集上面同樣多的資訊，用時3秒左右。


高手請回答，是用php+ajax還是用的php同步批量採集做的，請給出原理

我的站wanben.net採集全是我自己 寫的，現在就要是實現大批量快速採集並傳回值。

回複討論(解決方案)

1、程式類似myip.cn/wanben.net ，他的站可以在3秒內採集出wanben.net的所有資訊。

2、我通過php也可以完成採信wanben.net的全部資訊，但速度太慢，如
採集網站title
採集alexa資訊
採集網域名稱資訊
採集伺服器資訊，

我通過php寫的程式，要順序執行所有代碼。所以時間很長，全部採集完成要15秒左右

而myip……

資料擷取建議使用CURL來完成


PHP的cURL庫功能簡介：抓取網頁，POST資料及其他


本文介紹了PHP的cURL庫的幾個使用方法。cURL是一個功能強大的PHP庫，可以用於擷取網頁內容，擷取網頁內容以及取一個XML檔案並把其匯入資料庫等等。
使用PHP的cURL庫可以簡單和有效地去抓網頁。你只需要運行一個指令碼，然後分析一下你所抓取的網頁，然後就可以以程式的方式得到你想要的資料了。無論是你想從從一個連結上取部分資料，或是取一個XML檔案並把其匯入資料庫，那怕就是簡單的擷取網頁內容，cURL 是一個功能強大的PHP庫。本文主要講述如果使用這個PHP庫。

啟用 cURL 設定

首先，我們得先要確定我們的PHP是否開啟了這個庫，你可以通過使用php_info()函數來得到這一資訊。

??phpphpinfo();??




如果你可以在網頁上看到下面的輸出，那麼表示cURL庫已被開啟。

如果你看到的話，那麼你需要設定你的PHP並開啟這個庫。如果你是在Windows平台下，那麼非常簡單，你需要改一改你的php.ini檔案的設定，找到php_curl.dll，並取消前面的分號注釋就行了。如下所示：

//取消下在的注釋extension=php_curl.dll



如果你是在Linux下面，那麼，你需要重新編譯你的PHP了，編輯時，你需要開啟編譯參數??在configure命令上加上“?with-curl” 參數。

一個小樣本

如果一切就緒，下面是一個小常式：

??php
// 初始化一個 cURL 對象
$curl = curl_init();

// 設定你需要抓取的URL
curl_setopt($curl, CURLOPT_URL, 'http://cocre.com');

// 設定header
curl_setopt($curl, CURLOPT_HEADER, 1);

// 設定cURL 參數，要求結果儲存到字串中還是輸出到螢幕上。
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);

// 運行cURL，請求網頁
$data = curl_exec($curl);

// 關閉URL請求
curl_close($curl);

// 顯示獲得的資料
var_dump($data);


如何POST資料

上面是抓取網頁的代碼，下面則是向某個網頁POST資料。假設我們有一個處理表單的網址http://www.example.com/sendSMS.php，其可以接受兩個表單域，一個是電話號碼，一個是簡訊內容。

??php$phoneNumber = '13912345678';$message = 'This message was generated by curl and php';$curlPost = 'pNUMBER=' . urlencode($phoneNumber) . '&MESSAGE=' . urlencode($message) . '&SUBMIT=Send';$ch = curl_init();curl_setopt($ch, CURLOPT_URL, 'http://www.example.com/sendSMS.php');curl_setopt($ch, CURLOPT_HEADER, 1);curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);curl_setopt($ch, CURLOPT_POST, 1);curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost);$data = curl_exec();curl_close($ch);??



從上面的程式我們可以看到，使用CURLOPT_POST設定HTTP協議的POST方法，而不是GET方法，然後以CURLOPT_POSTFIELDS設定POST的資料。

關於Proxy 伺服器

下面是一個如何使用Proxy 伺服器的樣本。請注意其中高亮的代碼，代碼很簡單，我就不用多說了。

??php $ch = curl_init();curl_setopt($ch, CURLOPT_URL, 'http://www.example.com');curl_setopt($ch, CURLOPT_HEADER, 1);curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 1);curl_setopt($ch, CURLOPT_PROXY, 'fakeproxy.com:1080');curl_setopt($ch, CURLOPT_PROXYUSERPWD, 'user:password');$data = curl_exec();curl_close($ch);??


關於SSL和Cookie

關於SSL也就是HTTPS協議，你只需要把CURLOPT_URL串連中的http://變成https://就可以了。當然，還有一個參數叫CURLOPT_SSL_VERIFYHOST可以設定為驗證網站。

關於Cookie，你需要瞭解下面三個參數：

CURLOPT_COOKIE，在當面的會話中設定一個cookie

CURLOPT_COOKIEJAR，當會話結束的時候儲存一個Cookie

CURLOPT_COOKIEFILE，Cookie的檔案。

HTTP伺服器認證

最後，我們來看一看HTTP伺服器認證的情況。

??php
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://www.example.com');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_BASIC);
curl_setopt(CURLOPT_USERPWD, '[username]:[password]')

$data = curl_exec();
curl_close($ch);
??


關於其它更多的內容，請參看相關的cURL手冊。

官方CURL中文文檔：

curl_setopt

問下樓主,如果網路環境不好,或者網站資料量大,或者php程式結構執行比較費時間,php執行逾時怎麼辦?

引用樓主 mywaster 的回複:
1、程式類似myip.cn/wanben.net ，他的站可以在3秒內採集出wanben.net的所有資訊。

2、我通過php也可以完成採信wanben.net的全部資訊，但速度太慢，如
採集網站title
採集alexa資訊
採集網域名稱資訊
採集伺服器資訊，

我通過php寫的程式，要順序執行所有代碼。所以時間很長，全部採集完成要15秒左右……

我就是忘記說了，我就是用php curl寫的採集，請根據我的問題回答


採集網站title
採集alexa資訊
採集網域名稱資訊
採集伺服器資訊

想同時進行怎麼辦？？？？？？？？？？

有能力自己寫擴充唄,多線程,雲端運算

引用 1 樓 skyaspnet 的回複:
引用樓主 mywaster 的回複:
1、程式類似myip.cn/wanben.net ，他的站可以在3秒內採集出wanben.net的所有資訊。

2、我通過php也可以完成採信wanben.net的全部資訊，但速度太慢，如
採集網站title
採集alexa資訊
採集網域名稱資訊
採集伺服器資訊，

我通過php寫的程式，要順序執行……



採集網站title
這個很簡單，在擷取到資料後直接正則即可取出。

採集alexa資訊
這個需要向alexa發送查詢即可擷取到資料，建議和擷取TITLE的操作分開。

採集網域名稱資訊
這一步也同樣需要發送查詢命令，建議也分開做

採集伺服器資訊
伺服器資訊只能擷取到很少的一部分，例如一些頭資訊，大部分是擷取不到的


想要加快速度的話，建議將一系列操作通過一定的方法關聯起來，然後再分步執行，這樣速度會有比較明顯的提高

我測試了一下
首次在 myip.cn上檢索wanben.com耗時16秒（當然，我的電腦顯示有點慢）
再次在 myip.cn上檢索僅僅兩秒

所以可以肯定myip.cn用了緩衝，你後來看到的檢索結果都是從緩衝中調出的，所以很快。

我自己解決了

謝謝大夥的思路，看看我空間的辦法
http://hi.baidu.com/dalianufo/blog/item/c70ef1d9a1a92a3f10df9b0a.html

http://www.chaiba.com 也很快的,原理類似

http://www.chayiba.com 這個

如果url下面還有子連結呢？例如http://news.ifeng.com/mil/,下面還有子欄目，子連結，該怎麼辦呢?

