golang通過http連接埠訪問hadoop

這是一個建立於 的文章，其中的資訊可能已經有所發展或是發生改變。

無聊嘗試一下golang串連hdfs, 寫了個hello world

golang包地址

https://github.com/vladimirvivien/gowfs

安裝

go get github.com/vladimirvivien/gowfs

寫程式之前需要修改hadoop的兩個設定檔

分別是

•   hsdfs-site.xml 裡的 dfs.webhdfs.enabled 

<property>      <name>dfs.webhdfs.enabled</name>      <value>true</value>  </property>

•  core-site.xml  裡的 hadoop.http.staticuser.user 

<property>      <name>hadoop.http.staticuser.user</name>      <value>hadoop</value>  </property>

簡單的例子

package mainimport ("fmt""log""github.com/vladimirvivien/gowfs")func main() {fs, err := gowfs.NewFileSystem(gowfs.Configuration{Addr: "localhost:50070", User: "hadoop"})if err != nil{    log.Fatal(err)}checksum, err := fs.GetFileChecksum(gowfs.Path{Name: "/user/kafka/hello.txt"})if err != nil {    log.Fatal(err)}fmt.Println (checksum)createTestDir(fs, "/user/kafka/hello1.txt")}func createTestDir(fs *gowfs.FileSystem, hdfsPath string) {path := gowfs.Path{Name:hdfsPath}ok, err := fs.MkDirs(path, 0744)if err != nil || !ok {log.Fatal("Unable to create test directory ", hdfsPath, ":", err)}log.Println ("HDFS Path ", path.Name, " created.")}