Go語言 簡單的爬蟲樣本(2)——編碼轉換

這是一個建立於 的文章，其中的資訊可能已經有所發展或是發生改變。

Go 語言官方沒有提供處理 utf8、unicode 之外字元編碼的包。這樣轉換就需要用第三方包，候選包：

https://github.com/xushiwei/go-iconv

https://github.com/djimenez/iconv-go

https://github.com/sloonz/go-iconv

例子：

下面源網頁是國家地震局的一周內地震統計,編碼是gb2312，這裡需要把它編碼成 utf-8 格式。

http://wendal.net/2013/0115.html

package main

import(

    iconv "github.com/djimenez/iconv-go"

    "io/ioutil"

    "log"

    "net/http"

)

func main(){

    log.SetFlags(log.LstdFlags|log.Lshortfile)

    resp,err:=http.Get("http://data.earthquake.cn/datashare/globeEarthquake_csn.html")

    if err!=nil{

        log.Fatal(err)

    }

    defer resp.Body.Close()

    input,err:=ioutil.ReadAll(resp.Body)

    out:=make([]byte,len(input))

    out=out[:]

    iconv.Convert(input,out,"gb2312","utf-8")

    ioutil.WriteFile("globeEarthquake_csn.html",out,0644)

}

 

參考資料：

Golang下進行字元集轉換
http://wendal.net/2013/0115.html