拉開大變革序幕（下）：分散式運算架構與大資料

標籤：

不可變基礎設施

如何更好地使用容器技術實現不可變基礎設施

Tachyon

Tachyon簡介

南京大學PASA大資料實驗室

SPARK/TACHYON:基於記憶體的分布式儲存系統

Spark on Yarn

1. 搭建spark on yarn叢集全過程 —— 可與 3 形成參考

2. Spark on Yarn

3. Spark On YARN 叢集安裝部署 —— 推薦

1) 配置Hadoop Yarn叢集時出現的問題及修複：

在每一台機器上（master和各個slave），都要對hadoop-env.sh和yarn-env.sh兩個檔案末尾添加（export）JAVA_HOME這個環境變數（根據具體機器上JAVA_HOME的不同而不同）。
在經過

cd ~/hadoop-2.7.1     #進入hadoop目錄bin/hadoop namenode -format     #格式化namenodesbin/start-dfs.sh               #啟動dfs sbin/start-yarn.sh              #啟動yarn

之後，登入 http://master:8088，發現有slave節點是unhealthy狀態，再進行一下配置，在每台機器（master和各個slave）上，修改yarn-site.xml檔案，添加如下：（不推薦！）

name=yarn.nodemanager.disk-health-checker.enable
value=false

然後在master上stop-all.sh後，重新啟動叢集：

sbin/start-dfs.sh               #啟動dfs sbin/start-yarn.sh              #啟動yarn

就會發現恢複正常。

2) 配置spark的spark-env.sh時

注意master上SPARK_LOCAL_DIRS的值和各個slave上應當一樣，即spark放在各個機器的同一路徑下。

3) 目前來看在REHL 7.1上編譯成的hadoop並不能在SUSE上跑起來

4) 各種slaves檔案中不添加localhost這一項

Hadoop 編譯出錯

我是在IBM JAVA環境下進行hadoop的編譯。列出編譯過程中的錯誤和解決方案，供大家參考。

1) Antrun

Failed to execute goal
org.apache.maven.plugins:maven-antrun-plugin:1.6:run (create-testdirs)

http://stackoverflow.com/questions/17126213/building-hadoop-with-maven-failed-to-execute-goal-org-apache-maven-pluginsma

chown -R username parent-directory（ 如 chown -R root ../ ）mvn install -DskipTests

2) Build failed with JVM IBM JAVA on TestSecureLogins

package com.sun.security.auth.module does not exist

https://issues.apache.org/jira/browse/HADOOP-11783

這是專門為在IBM JAVA環境下打的patch。

3) 經過上面兩個fix後如果很快顯示BUILD SUCCESS，並且在（假設下載的源碼檔案夾名為hadoop-release-2.7.1）hadoop-release-2.7.1/hadoop-dist/target/目錄下沒有名為hadoop-2.7.1.tar.gz的tar包，說明沒有編譯成功，返回到hadoop-release-2.7.1這個根目錄下，繼續執行：

mvn package -Pdist -DskipTests -Dtar

http://www.iteblog.com/archives/897

這之後編譯的時間明顯變長，各位在這段驚心動魄的時間裡度過吧:)

YARN叢集運行SparkPi出錯

Exception in thread “main” java.io.IOException: All datanodes
9.12.43.187:50010 are bad. Aborting…
at
org.apache.hadoop.hdfs.DFSOutputStream DataStreamer.setupPipelineForAppendOrRecovery(DFSOutputStream.java:1206)
at
org.apache.hadoop.hdfs.DFSOutputStream DataStreamer.processDatanodeError(DFSOutputStream.java:1004)
at
org.apache.hadoop.hdfs.DFSOutputStream DataStreamer.run(DFSOutputStream.java:548)

有可能是因為IBM大型主機上大小端的問題，需要一個patch。
或者通過組合異構平台解決。

運行成功顯示：

拉開大變革序幕（下）：分散式運算架構與大資料