這是一個建立於 的文章,其中的資訊可能已經有所發展或是發生改變。
Go語言
Go語言(Golang,The Go Programming Language),是Google2009發布的第二款開源程式設計語言。2009年7月份,Google曾發布了Simple語言,它是用來開發Android應用。
Go語言是Google推出的一種全新的程式設計語言,可以在不損失應用程式效能的情況下降低代碼的複雜性。
Google首席軟體工程師羅布派克(Rob Pike)說:我們之所以開發Go,是因為過去10多年間軟體開發的難度令人沮喪。
Go語言專門針對多處理器系統應用程式的編程進行了最佳化,使用Go編譯的程式可以媲美C或C++代碼的速度,而且更加安全、支援並行進程。
Go語言官網: https://golang.org (需要VPN訪問)
1. 下載 Go
Go語言是跨平台,支援Windows、Linux、Mac OS X等系統,還提供有源碼,可編譯安裝
Windows :go1.8.3.windows-amd64.msi (78MB)
Linux :go1.8.3.linux-amd64.tar.gz (86MB)
Mac :go1.8.3.darwin-amd64.tar.gz (85MB) (推薦)
Source: go1.8.3.src.tar.gz (15MB)
2. 安裝 Go
sudo tar -C /usr/local/ -zxvf go1.8.3.darwin-amd64.tar.gz
注意: 必須安裝在 /usr/local/ 目錄下,因為GOROOT必須為/usr/local/go
安裝目錄說明:
$ ll /usr/local/go/total 232-rw-r--r-- 1 homer staff 33243 May 25 04:14 AUTHORS-rw-r--r-- 1 homer staff 1366 May 25 04:14 CONTRIBUTING.md-rw-r--r-- 1 homer staff 45710 May 25 04:14 CONTRIBUTORS-rw-r--r-- 1 homer staff 1479 May 25 04:14 LICENSE-rw-r--r-- 1 homer staff 1303 May 25 04:14 PATENTS-rw-r--r-- 1 homer staff 1399 May 25 04:14 README.md-rw-r--r-- 1 homer staff 7 May 25 04:14 VERSIONdrwxr-xr-x 14 homer staff 476 May 25 04:14 apidrwxr-xr-x 5 homer staff 170 May 25 04:16 bindrwxr-xr-x 4 homer staff 136 May 25 04:16 blogdrwxr-xr-x 44 homer staff 1496 May 25 04:14 doc-rw-r--r-- 1 homer staff 5686 May 25 04:14 favicon.icodrwxr-xr-x 3 homer staff 102 May 25 04:14 libdrwxr-xr-x 16 homer staff 544 May 25 04:16 miscdrwxr-xr-x 7 homer staff 238 May 25 04:16 pkg-rw-r--r-- 1 homer staff 26 May 25 04:14 robots.txtdrwxr-xr-x 68 homer staff 2312 May 25 04:14 srcdrwxr-xr-x 269 homer staff 9146 Jul 25 01:29 test
目錄檔案解釋:
api — 目錄,包含所有API列表,方便IDE使用bin — 目錄,存放編譯後的可執行檔blog — 目錄,doc — 目錄,協助文檔lib — 目錄,misc — 目錄,pkg — 目錄,存放編譯後的包檔案。pkg中的檔案是Go編譯產生的src — 目錄,存放項目源檔案test - 目錄,範例程式碼註:一般,bin和pkg目錄可以不建立,go命令會自動建立(如 go install),只需要建立src目錄即可。AUTHORS — 檔案,作者列表,用記事本開啟CONTRIBUTING.md — 檔案,CONTRIBUTORS — 檔案,LICENSE — 檔案,license,用記事本開啟PATENTS — 檔案,README.md — 檔案,VERSION — 檔案,版本資訊,用記事本開啟favicon.ico — 檔案,robots.txt — 檔案,使用robots.txt阻止對網址的訪問,詳情查看https://support.google.com/webmasters/answer/6062608?hl=zh-Hans
Eclipse 安裝Go外掛程式,在市場裡搜尋 "go",如,安裝 GoClipse
注意: GoClipse外掛程式開發的程式,需要重啟電腦後才會生效,因為 /etc/profile 配置的環境變數重啟電腦後才生效
3. 配置 Go
vim /etc/profile
添加配置:
GOROOT=/usr/local/go
export PATH=$GOROOT/bin:$PATH
使配置生效:
source /etc/profile
驗證安裝成功:
$ go version
go version go1.8.3 darwin/amd64
4. 使用 Go
基本文法
Go 語言中 = 和 := 有什麼區別
= 是賦值, := 是聲明變數並賦值。
// = 使用必須使用先var聲明例如:var aa=100// 或var b = 100// 或var c int = 100// := 是聲明並賦值,並且系統自動推斷類型,不需要var關鍵字d := 100
1) hello 樣本
vim hello.go
package main import "fmt"func main() { fmt.Printf("hello mimvp.com")}
編譯執行:
go build
./hello
運行結果:
$ ./hello
hello mimvp.com
2)爬取網頁樣本
vim spider_web.go
/*** mimvp.com* 2017.4.12** spider web of mimvp.com*/package mainimport ("fmt""io/ioutil""net/http")func main() {response, _ := http.Get("http://mimvp.com")defer response.Body.Close()body, _ := ioutil.ReadAll(response.Body)fmt.Println(string(body))fmt.Printf("len : %d\n", len(string(body)));}
編譯執行:
$ go build spider_web.go
$ ./spider_web
<!DOCTYPE html>
<html lang="zh-CN">
<head>
<meta charset="utf-8">
...
</body>
</html>
len : 15661
5. 代理樣本
Go語言支援的代理為 http 和 socks5,不支援 https 和 socks4
其中,Go使用socks5代理時,需要安裝引用 "golang.org/x/net/proxy",安裝配置步驟如下:
1. download https://github.com/golang/net
2. unzip and move to /usr/local/go/src/golang.org/x/net/
3. import ( "golang.org/x/net/proxy" )
Go 語言代理樣本如下(全部都經過測試,成功):
/*** mimvp.com* 2017.7.20* golang use http, socks5 proxy */package mainimport ("fmt""io/ioutil""log""net/http""net/url""os""golang.org/x/net/proxy")// success http// proxy_uri := "http://125.77.25.124:80"// mimvp_url := "http://mimvp.com"func main_1(proxy_uri string, mimvp_url string) {proxy := func(_ *http.Request) (*url.URL, error) {return url.Parse(proxy_uri)}transport := &http.Transport{Proxy: proxy}client := &http.Client{Transport: transport}resp, err := client.Get(mimvp_url)if err != nil {fmt.Println("error : ", err)return} else {defer resp.Body.Close()body, _ := ioutil.ReadAll(resp.Body)fmt.Printf("%s\n", body)}}// success http// proxy_uri := "http://125.77.25.124:80"// mimvp_url := "http://mimvp.com"func main_2(proxy_uri string, mimvp_url string) {url_i := url.URL{}url_proxy, _ := url_i.Parse(proxy_uri)transport := &http.Transport{Proxy: http.ProxyURL(url_proxy)}client := http.Client{Transport: transport}resp, err := client.Get(mimvp_url)if err != nil {log.Fatalln(err)} else {defer resp.Body.Close()body, _ := ioutil.ReadAll(resp.Body)fmt.Printf("%s\n", body)}}// config environment varablefunc main_22(proxy_uri string, mimvp_url string) {// url_i := url.URL{}// url_proxy, _ := url_i.Parse("https://127.0.0.1:9743")os.Setenv("HTTP_PROXY", "http://125.77.25.124:80")os.Setenv("HTTPS_PROXY", "https://210.209.89.100:8081")c := http.Client{ /* Transport: &http.Transport{ // Proxy: http.ProxyURL(url_proxy)} */ }resp, err := c.Get("http://mimvp.com")if err != nil {log.Fatalln(err)} else {defer resp.Body.Close()body, _ := ioutil.ReadAll(resp.Body)fmt.Printf("%s\n", body)}}// 指定代理ipfunc getTransportFieldURL(proxy_addr *string) (transport *http.Transport) {url_i := url.URL{}url_proxy, _ := url_i.Parse(*proxy_addr)transport = &http.Transport{Proxy: http.ProxyURL(url_proxy)}return}// 從環境變數$http_proxy或$HTTP_PROXY中擷取HTTPProxy 位址// Linux 設定代理環境變數命令:// http_proxy=http://125.77.25.124:80// https_proxy=https://210.209.89.100:8081func getTransportFromEnvironment() (transport *http.Transport) {transport = &http.Transport{Proxy: http.ProxyFromEnvironment}return}func fetch(mimvp_url, proxy_uri *string) (html string) {transport := getTransportFieldURL(proxy_uri)client := &http.Client{Transport: transport}req, err := http.NewRequest("GET", *mimvp_url, nil)if err != nil {log.Fatal(err.Error())}resp, err := client.Do(req)if err != nil {log.Fatal(err.Error())}if resp.StatusCode == 200 {robots, err := ioutil.ReadAll(resp.Body)resp.Body.Close()if err != nil {log.Fatal(err.Error())}html = string(robots)} else {html = ""}return}// success http// proxy_uri := "http://125.77.25.124:80"// mimvp_url := "http://mimvp.com"func main_3(proxy_uri string, mimvp_url string) {html := fetch(&mimvp_url, &proxy_uri)fmt.Println(html)}// success socks5// 1. download https://github.com/golang/net// 2. unzip and move to /usr/local/go/src/golang.org/x/net/// 3. import ( "golang.org/x/net/proxy" )func main_socks5(proxy_socks string, mimvp_url string) {// create a socks5 dialerdialer, err := proxy.SOCKS5("tcp", proxy_socks, nil, proxy.Direct)if err != nil {fmt.Println(os.Stderr, "can't connect to socks5 proxy:", err)os.Exit(1)}// setup a http client//transport := &http.Transport{}//transport.Dial = dialer.Dialtransport := &http.Transport{Dial: dialer.Dial}client := &http.Client{Transport: transport}resp, err := client.Get(mimvp_url)if err != nil {log.Fatalln(err)} else {defer resp.Body.Close()body, _ := ioutil.ReadAll(resp.Body)fmt.Printf("%s\n", body)}}func main() {// http proxyproxy_uri := "http://125.77.25.124:80"mimvp_url := "http://mimvp.com"main_1(proxy_uri, mimvp_url)main_2(proxy_uri, mimvp_url)main_3(proxy_uri, mimvp_url)// socks5 proxyproxy_socks := "175.138.65.244:1080"main_socks5(proxy_socks, mimvp_url)}
本樣本中的代理,全部來自米撲代理
米撲代理,提供專業高品質代理,支援http、https、socks4、socks5等協議,
覆蓋全球120多個國家,中國34個省市,代理品質和可用性非常高
米撲代理:http://proxy.mimvp.com