Snoopy:一個非常強大的PHP採集類

來源:互聯網
上載者:User
關鍵字 Snoopy:一個非常強大的PHP採集類
Snoopy是一個php類,用來類比瀏覽器的功能,可以擷取網頁內容,發送表單。 1抓取網頁的內容 fetch 2 抓取網頁的常值內容 (去除HTML標籤) fetchtext 3抓取網頁的連結,表單 fetchlinks fetchform 4 支援代理主機 5支援基本的使用者名稱/密碼驗證 6 支援設定 user_agent, referer(來路), cookies 和 header content(標頭檔) 7支援瀏覽器重新導向,並能控制重新導向深度

Snoopy:一個非常強大的PHP採集類

,下面是詳細介紹Snoopy.class.php源檔案的內容。

Snoopy是一個php類,用來類比瀏覽器的功能,可以擷取網頁內容,發送表單。

Snoopy的一些特點:

1抓取網頁的內容 fetch
2 抓取網頁的常值內容 (去除HTML標籤) fetchtext
3抓取網頁的連結,表單 fetchlinks fetchform
4 支援代理主機
5支援基本的使用者名稱/密碼驗證
6 支援設定 user_agent, referer(來路), cookies 和 header content(標頭檔)
7支援瀏覽器重新導向,並能控制重新導向深度
8能把網頁中的連結擴充功能成高品質的url(預設)
9提交資料並且擷取傳回值
10 支援跟蹤HTML架構
11支援重新導向的時候傳遞cookies
要求php4以上就可以了 由於本身是php一個類 無需擴支援 伺服器不支援curl時候的最好選擇,

類方法:

fetch($URI)
———–

這是為了抓取網頁的內容而使用的方法。
$URI參數是被抓取網頁的URL地址。
抓取的結果被儲存在 $this->results 中。
如果你正在抓取的是一個架構,Snoopy將會將每個架構追蹤後存入數組中,然後存入 $this->results。

fetchtext($URI)
—————

本方法類似於fetch(),唯一不同的就是本方法會去除HTML標籤和其他的無關資料,只返回網頁中的文字內容。

fetchform($URI)
—————

本方法類似於fetch(),唯一不同的就是本方法會去除HTML標籤和其他的無關資料,只返回網頁中表單內容(form)。

fetchlinks($URI)
—————-

本方法類似於fetch(),唯一不同的就是本方法會去除HTML標籤和其他的無關資料,只返回網頁中連結(link)。
預設情況下,相對連結將自動補全,轉換成完整的URL。

submit($URI,$formvars)
———————-

本方法向$URL指定的連結地址發送確認表單。$formvars是一個儲存表單參數的數組。

submittext($URI,$formvars)
————————–

本方法類似於submit(),唯一不同的就是本方法會去除HTML標籤和其他的無關資料,只返回登陸後網頁中的文字內容。

submitlinks($URI)
—————-

本方法類似於submit(),唯一不同的就是本方法會去除HTML標籤和其他的無關資料,只返回網頁中連結(link)。
預設情況下,相對連結將自動補全,轉換成完整的URL。

類屬性: (預設值在括弧裡)

$host 串連的主機
$port 串連的連接埠
$proxy_host 使用的代理主機,如果有的話
$proxy_port 使用的代理主機連接埠,如果有的話
$agent 使用者代理程式偽裝 (Snoopy v0.1)
$referer 來路資訊,如果有的話
$cookies cookies, 如果有的話
$rawheaders 其他的頭資訊, 如果有的

  • 相關文章

    聯繫我們

    該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

    如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

    A Free Trial That Lets You Build Big!

    Start building with 50+ products and up to 12 months usage for Elastic Compute Service

    • Sales Support

      1 on 1 presale consultation

    • After-Sales Support

      24/7 Technical Support 6 Free Tickets per Quarter Faster Response

    • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.