Golang原生爬蟲 簡單爬蟲實現 不依賴第三方包庫 方便理解技術原理 （二）

這是一個建立於 的文章，其中的資訊可能已經有所發展或是發生改變。

上一篇回顧：Golang原生爬蟲 簡單爬蟲實現 不依賴第三方包庫 方便理解技術原理 （一） 

本篇原文首發：Golang原生爬蟲 簡單爬蟲實現 不依賴第三方包庫 方便理解技術原理 （二）

程式首次執行成功後，我們已經成功擷取了源頁面所提供的連結地址。下面我們自然要做的就是通過計時器來爬抓連結清單裡的地址。

下一步就是要通過地址清單裡的地址逐一爬抓，去掉已經爬抓過的練級，並記錄新的有效連結到地址清單裡。

再看一下我們的main函數：

func main() {      if checkFile("./data/", "url.txt").Size() == 0 {          fistStart()          main()      } else {          Timer()      }  }  

上面的firstStart函數（首次執行爬抓）已經執行過了，那就會重新調用main函數，也就是在執行一次判斷，但是因為我們的url.txt裡已經有12條Url地址，所以這次會執行Timer函數。

Timer函數裡我們寫了一個計時器，防止程式崩潰或者網路崩潰，所以我這裡設定了1秒執行一次，其實沒有必要這樣，一秒鐘執行3-8次也是沒什麼大問題的（本地情況下），如果放在伺服器上，那你得看一下自己的伺服器配置和頻寬配置酌情考慮了

看一下Timer函數吧：

func Timer() {      t := time.NewTimer(time.Second * 1)      <-t.C      fmt.Print("\n\n\n執行爬抓\n\n")      f, _ := os.OpenFile("./data/url.txt", os.O_CREATE|os.O_APPEND|os.O_RDWR, 0666)      file, _ := ioutil.ReadAll(f)      pageCont, _ := pageVisit(strings.Split(string(file), "\n")[0])      if checkRegexp(checkRegexp(pageCont, regTitle, 0).(string), regCheckTitle, 0).(string) != "" {          fmt.Print(checkRegexp(checkRegexp(pageCont, regTitle, 0).(string), regCheckTitle, 0).(string))          fmt.Print("\n有效內容 => " + checkRegexp(pageCont, regTitle, 0).(string))      }      fmt.Print("\n\n待爬抓網址共" + strconv.Itoa(len(strings.Split(string(file), "\n"))-1) + "個 => " + strings.Split(string(file), "\n")[0] + "\n")      DelFirstText("./data/url.txt")      Timer()  }  

emm...毫不誇張的表示我看自己的代碼都有點吃力

上面的代碼建立了一個計時器，時間為一秒。剛開始肯定是先要開啟url.txt檔案,因為是要做刪除和添加操作的，所以開啟的模式是讀寫追加。

 

pageCont, _ := pageVisit(strings.Split(string(file), "\n")[0])  

這一句就是擷取url.txt裡的第一條連結地址，我們要先判斷一下這個連結內容是不是我們想要的，所以我又用到了之前封裝的一個正則檢查的函數。

checkRegexp函數：

func checkRegexp(cont string, reg string, style int) (result interface{}) {      check := regexp.MustCompile(reg)      switch style {      case 0:          result = check.FindString(cont)      case 1:          result = check.FindAllString(cont, -1)      default:          result = check.FindAll([]byte(cont), -1)      }      return  }

  

所用到的正則 => regTitle、regCheckTitle

var (      // regHref       = `((ht|f)tps?)://[w]{0,3}.baidu.com/link\?[a-zA-z=0-9-\s]*`      regTitle      = `<title[\sa-zA-z="-]*>([^x00-xff]|[\sa-zA-Z=-：|，？"])*</title>`      regCheckTitle = `(為什麼|怎麼)*.*([G|g][O|o][L|l][A|a][N|n][G|g]).*(怎麼|實現|如何|為什麼).*`  )

  

regTitle是為了在代碼中匹配真標題，因為有些網站為了防止爬蟲，做了一些假標題以混淆視聽，但是這些小伎倆還是很容易解決的，這個regTitle足以屏蔽掉70%的假標題。

反正爬蟲就是要和各大網站鬥智鬥勇 /手動滑稽

regCheckTitle是為了過濾出這個網址是不是我想要的內容，所以我簡單的寫了一串正則。這串正則的意思主要是標題要帶有為什麼、怎麼等關鍵詞，然後標題必須有golang或者go的存在，這樣的內容基本上是我想要的了。

判斷的程式碼片段：

if checkRegexp(checkRegexp(pageCont, regTitle, 0).(string), regCheckTitle, 0).(string) != "" {      fmt.Print(checkRegexp(checkRegexp(pageCont, regTitle, 0).(string), regCheckTitle, 0).(string))      fmt.Print("\n有效內容 => " + checkRegexp(pageCont, regTitle, 0).(string))  } 

 

如果匹配不到，那就跳過這一條連結咯，反正不是我想要的~

DelFirstText("./data/url.txt")

  

func DelFirstText(file string) {      var text = ""      f, _ := os.OpenFile(file, os.O_RDWR|os.O_CREATE, 0666)      files, _ := ioutil.ReadAll(f)      var ss = strings.Split(string(files), "\n")      for i := 1; i < len(ss)-1; i++ {          text += ss[i] + "\n"      }      defer f.Close()      ioutil.WriteFile(file, []byte(text), 0666)      fmt.Print("\n\n刪除該地址 => " + ss[0])  } 

 

然後這一段就是說刪掉這一條連結地址，如果沒有有一段，你的爬蟲將不厭其煩的去爬抓第一條連結地址，能一直爬到你的ip被伺服器安全程式處理掉

應該有人發現，然後呢？怎麼沒有把東西入庫，怎麼沒有抓取新的連結。

emm...博主最近有點忙，這一段還沒寫，不過這些內容已經把爬蟲的基本原理都給講掉了，其實很簡單對不對，就是發起http請求，然後通過正則匹配出自己想要的內容，再做後續的入庫或者注入新鮮連結地址，讓程式一直運行下去就好了。

運行一下：

嗯，就這樣，有效內容就過濾出來了。

然後如果想要把文章內容提取出來，只需要一個很簡單的正則就可以了，這裡的處理步驟其實可以寫一個單獨的函數來調用。但博主現在還沒有寫，可能會在第三篇寫上，如果訪問量破2k的話

為了防止有些地方細節代碼沒有貼上，我把main.go的代碼貼一下吧，也可以進文章底部的連結下載整個程式的代碼執行個體，如果還有問題可以call我，qq在上一篇文章裡，就不重複貼了。

main.go:

package main    import (      "fmt"      "io"      "io/ioutil"      "net/http"      "os"      "regexp"      "strconv"      "strings"      "time"  )    var (      // regHref       = `((ht|f)tps?)://[w]{0,3}.baidu.com/link\?[a-zA-z=0-9-\s]*`      regTitle      = `<title[\sa-zA-z="-]*>([^x00-xff]|[\sa-zA-Z=-：|，？"])*</title>`      regCheckTitle = `(為什麼|怎麼)*.*([G|g][O|o][L|l][A|a][N|n][G|g]).*(怎麼|實現|如何|為什麼).*`  )    func main() {      if checkFile("./data/", "url.txt").Size() == 0 {          fistStart()          main()      } else {          Timer()      }  }    func Timer() {      t := time.NewTimer(time.Second * 1)      <-t.C      fmt.Print("\n\n\n執行爬抓\n\n")      f, _ := os.OpenFile("./data/url.txt", os.O_CREATE|os.O_APPEND|os.O_RDWR, 0666)      file, _ := ioutil.ReadAll(f)      pageCont, _ := pageVisit(strings.Split(string(file), "\n")[0])      if checkRegexp(checkRegexp(pageCont, regTitle, 0).(string), regCheckTitle, 0).(string) != "" {          fmt.Print(checkRegexp(checkRegexp(pageCont, regTitle, 0).(string), regCheckTitle, 0).(string))          fmt.Print("\n有效內容 => " + checkRegexp(pageCont, regTitle, 0).(string))      }      fmt.Print("\n\n待爬抓網址共" + strconv.Itoa(len(strings.Split(string(file), "\n"))-1) + "個 => " + strings.Split(string(file), "\n")[0] + "\n")      DelFirstText("./data/url.txt")      Timer()  }    func fistStart() {      var num int      url := "http://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&tn=39042058_20_oem_dg&wd=golang%E5%AE%9E%E7%8E%B0&oq=golang%2520%25E5%2588%25A0%25E9%2599%25A4%25E6%2595%25B0%25E7%25BB%2584&rsv_pq=d9be28ec0002df1b&rsv_t=8017GWpSLPhDmKilZQ1StC04EVpUAeLEP90NIm%2Bk5pRh5R9o57NHMO8Gaxm1TtSOo%2FvtJj%2B98%2Fsc&rqlang=cn&rsv_enter=1&inputT=3474&rsv_sug3=16&rsv_sug1=11&rsv_sug7=100&rsv_sug2=0&rsv_sug4=4230"      resp, _ := http.Get(url)      defer resp.Body.Close()      body, _ := ioutil.ReadAll(resp.Body)      reg := regexp.MustCompile(`((ht|f)tps?)://[w]{0,3}.baidu.com/link\?[a-zA-z=0-9-\s]*`)      f, _ := os.OpenFile("./data/url.txt", os.O_CREATE|os.O_APPEND|os.O_RDWR, 0666)      defer f.Close()      for _, d := range reg.FindAllString(string(body), -1) {          ff, _ := os.OpenFile("./data/url.txt", os.O_RDWR, 0666)          file, _ := ioutil.ReadAll(ff)          dd := strings.Split(d, "")          dddd := ""          for _, ddd := range dd {              if ddd == "?" {                  ddd = `\?`              }              dddd += ddd          }          if checkRegexp(string(file), dddd, 0).(string) == "" {              io.WriteString(f, d+"\n")              fmt.Print("\n收集地址：" + d + "\n")              num++          }          // fmt.Print(string(file))          ff.Close()      }      fmt.Print("\n首次收集網路地址：" + strconv.Itoa(len(reg.FindAllString(string(body), -1))) + "\n")      fmt.Print("\n去重後網路地址數：" + strconv.Itoa(num))      fmt.Print("\n\n首次儲存成功！\n")  }    func pageVisit(url string) (page string, body []byte) {      resp, _ := http.Get(url)      defer resp.Body.Close()      body, _ = ioutil.ReadAll(resp.Body)      page = string(body)      return  }    func checkFile(dir string, file string) os.FileInfo {      list, _ := ioutil.ReadDir(dir)      for _, info := range list {          if info.Name() == file {              return info          }      }      return list[0]  }    func saveFile(file string, cont string) {      f, _ := os.OpenFile(file, os.O_RDWR|os.O_APPEND|os.O_CREATE, 0666)      defer f.Close()      io.WriteString(f, cont)  }    func checkRegexp(cont string, reg string, style int) (result interface{}) {      check := regexp.MustCompile(reg)      switch style {      case 0:          result = check.FindString(cont)      case 1:          result = check.FindAllString(cont, -1)      default:          result = check.FindAll([]byte(cont), -1)      }      return  }    func DelFirstText(file string) {      var text = ""      f, _ := os.OpenFile(file, os.O_RDWR|os.O_CREATE, 0666)      files, _ := ioutil.ReadAll(f)      var ss = strings.Split(string(files), "\n")      for i := 1; i < len(ss)-1; i++ {          text += ss[i] + "\n"      }      defer f.Close()      ioutil.WriteFile(file, []byte(text), 0666)      fmt.Print("\n\n刪除該地址 => " + ss[0])  }

  

附代碼執行個體：https://download.csdn.net/download/superwebmaster/10415730

 

202 次點擊