擁抱大資料之——HDInsight安裝篇

大資料是如此的真實，離我們越來越近，你不再需要繁複的Linux操作，擁抱Windows上的Hadoop——HDInsight吧。HDInsight是一個Windows平台上，100%相容Apache Hadoop的實現。並且微軟為其提供完全的支援人員，還等什麼，我們一起來進入大資料的世界吧。

目前提供的HDInsight分兩種版本：

On-Premises版，即HDInsight Server

Cloud版，即HDInsight Service

由於目前HDInsight Service還不是開放使用的，需要申請邀請，所以，我們用HDInsight Server來體驗大資料的威力。

安裝篇
=======================

目前，HDInsight的安裝是通過Web Platform Installer來實現的，你不用關心所有的依賴關係，所有這些安裝程式已經都替您做好了。有一點我們必須指出，事實上安裝程式會安裝兩個主要的組件， Hortonworks Data Platform for Windows 和 Microsoft HDInsight，其餘的必須組件如IIS等都會被安裝程式自動安裝。預設情況下，在一台乾淨的Windows
Server 2012上安裝HDInsight，會安裝如下組件：

我們來分別討論一下他們分別是什麼：

Hortonworks Data Platform Installer

這個mis包含了Hadoop的核心實現（如Map/Reduce， HDFS），和一些在Hadoop生態系統中的其他Apache項目，下面是一個完整的列表：

·         Map Reduce

·         HDFS

·         Hive

·         Pig

·         HCatalog

每個項目都被分別打包成了一個zip檔案，他們都會包含一個Powershell指令碼用來完成相應的安裝。

Microsoft HDInsight Installer

這個msi包含了微軟的實現相關的一些組件，它目前包含：

·         HDInsight Dashboard

·         Sqoop

·         Isotope.js

·         Getting started content

這些組件的打包方式和上面的Hadoop項目組建的方式類似。並且，它提供了一個可以用來初始化安裝的Powershell指令碼，如用來啟動Hadoop組件的服務等。

 

中國使用者的安裝特殊考量

您是否已經迫不及待的想試試安裝程式了呢？請等等！由於目前還是Beta版本的關係，當前大家在微軟網站上下載的HDInsight Server還有一些問題，可能會導致安裝失敗。如果大家在電腦預設情況用中文來解析non-unicode字元，那麼安裝完成之後，你不會看到任何Hadoop的service。筆者分析了安裝日誌後發現，在create
user的時候失敗了，但是為什麼呢？在分析了大量的安裝指令碼之後，筆者發現由於安裝指令碼中存在的一個non-unicode字元，導致了安裝的失敗。在C:\HadoopInstallFiles\HadoopPackages\hdp-1.0.1-winpkg.zip\scripts中的Create_hadoop_user.ps1指令碼中，可以看到如下行：

$export.PSObject.TypeNames.Insert(0,扙xportedPSCredential?

就是改行導致了安裝無法繼續。

正確的行應該是：

$export.PSObject.TypeNames.Insert(0,’ExportedPSCredential’)

為了能夠成功的安裝，建議大家將Windows伺服器的Region Setting改成English (United Stats)

之後的安裝就可以順利安裝完成了。

 

安裝完成之後，大家就可以在案頭上看到下面的表徵圖：

 

點擊Microsoft HDInsight Dashboard，如果你看到如下的頁面，那麼恭喜您，安裝成功了：

 

怎麼樣？動手試一下吧？

 

轉自：http://blogs.msdn.com/b/apgcdsd/archive/2013/04/10/hdinsight.aspx