標籤:
1、分布式環境搭建
採用4 台安裝Linux 環境的機器來構建一個小規模的分布式叢集。
其中有一台機器是Master 節點,即名稱節點,另外三台是Slaver 節點,即資料
節點。這四台機器彼此間通過路由器相連,從而實驗相互連信以及資料轉送。它們都
可以通過路由器訪問Internet,實驗網頁文檔的採集。
2、叢集機器詳細資料
2.1 Master 伺服器
名稱詳細資料
機器名稱Master.Hadoop
機器IP 位址192.168.1.2
最高使用者名稱稱(Name) root
最用使用者密碼(PWD) hadoop(全小寫)
一般使用者名稱稱(Name) hadoop(全小寫)
一般使用者密碼(PWD) hadoop(全小寫)
更多內容http://www.yfteach.com
企業真實項目即時線上授課1
2.2 Slave1 伺服器
名稱詳細資料
機器名稱Slave1.Hadoop
機器IP 位址192.168.1.3
最高使用者名稱稱(Name) root
最用使用者密碼(PWD) hadoop(全小寫)
一般使用者名稱稱(Name) hadoop(全小寫)
一般使用者密碼(PWD) hadoop(全小寫)
2.3 Slave2 伺服器
名稱詳細資料
機器名稱Slave2.Hadoop
機器IP 位址192.168.1.4
最高使用者名稱稱(Name) root
最用使用者密碼(PWD) hadoop(全小寫)
一般使用者名稱稱(Name) hadoop(全小寫)
一般使用者密碼(PWD) hadoop(全小寫)
2.4 Slave3 伺服器
名稱詳細資料
機器名稱Slave3.Hadoop
機器IP 位址192.168.1.5
最高使用者名稱稱(Name) root
最用使用者密碼(PWD) hadoop(全小寫)
一般使用者名稱稱(Name) hadoop(全小寫)
一般使用者密碼(PWD) hadoop(全小寫)
備忘:
添加新使用者命令:useradd;修改新使用者密碼:passwd 使用者名稱
退出目前使用者:exit; 登入root 使用者:su –
3.1 Hadoop 工作叢集
該Hadoop 叢集機器是學習和研究之用,上面運行著已經搭建好的的Hadoop 平台以及
運行著一些實際程式。
圖3.1-1 Hadoop 工作叢集部署圖(1)
圖3.1-2 Hadoop 工作叢集部署圖(2)
上面從兩個角度來分別觀察Hadoop 叢集部署,作為Hadoop 叢集的Master 節點,用的
更多內容http://www.yfteach.com
企業真實項目即時線上授課3
是機器較為不錯的新Dell,而三台Slave 機器則是實驗室淘汰的舊Lenovo,用一個小路
由器他們組成了一個區域網路。
圖3.1-3 路由器特寫
3.2 Hadoop 實驗叢集
為了方便新成員練習Hadoop 技術,又防止在實際Hadoop 叢集上破壞已啟動並執行程式,
故另外弄了兩台舊Lenovo 電腦組成:一個“主——TMaster”;一個“輔——TSlave”。
圖3.2-1 Hadoop 實驗叢集部署
上面就是實驗室Hadoop 叢集的樣子,雖然很簡陋,但足夠學慣用了。
雲帆大資料學院Hadoop 叢集 ——機器資訊分布表