Linux（1）使用詳情，linux使用詳情

Linux（1）使用詳情，linux使用詳情

django學習告一段落，又迎來一大痛點---大資料！

學習大資料，我們需要安裝好所需的一切軟體與壓縮包，安裝教程度娘都有，夥伴們自個兒搜哦：

A.VM虛擬機器、Centos鏡像

B.Xshell

c.Xftp

d.jdk

f.hadoop

e.spark

1.簡單瞭解一下xshell和xftp

Xshell是一款功能強大且安全的終端模擬器，支援SSH、SFTP、TELNET、RLOGIN和SERIAL；Shell呢就是一個命令直譯器，它把使用者輸入的命令解釋一下並把它們送到核心去執行

Xftp是一個可以通過網路，實現本機與虛擬機器互相傳輸檔案的應用程式

2.安裝完成之後，進入虛擬機器，編輯一下虛擬機器設定

接下來：

（1）登入系統管理員，輸入密碼時是不會顯示的，直接輸完成按斷行符號就進入了

 

（2）擷取虛擬機器的ip[centos7版本下可以使用ip a ; 低版本須用ifconfig]

（3）開啟xshell

1)可以選擇建立會話，就像這樣，但需要寫入剛才擷取的虛擬機器IP

2）直接使用ssh 加上虛擬機器IP，去串連

輸入之前你設定的使用者名稱root 以及密碼 root ，就OK

（4）下面就是linux的一系列操作指令：

cd / 根目錄

cd.

cd .. 可進入上一層目錄

cd - 進入上一個進入的目錄

cd ~ 可進入使用者的home目錄

pwd 顯示當前在哪個路徑

ls 列出檔案和目錄

ls -a 顯示隱藏檔案

ls -l 顯示常列表格式

mkdir 建立目錄

rmdir 刪除空目錄

touch 建立新檔案

rm 刪除目錄 （加上-r 是刪除目錄及其下面的所有檔案）

mv 移動檔案

rmdir 單純地刪目錄，不刪檔案

cp 複製（cp data.txt data1.txt）

echo 輸出內容

cat 查看純文字檔案（more查看更多）

head 查看前幾行（head -n 2 ）

> 重新導向覆蓋

>> 重新導向 追加

（二）

（1）建立一個新使用者 useradd 或adduser +使用者名稱，再設定一下密碼

方便以後的登入，使用者名稱跟密碼保持一致（至於它提示密碼短無效神馬的，就不用去理會）

（2）對下面圈起來的地方，做一個解釋：

root 登入系統的使用者名稱
@表示在
localhost主機名稱
~表是目錄

（3）瞭解一下linux裡的目錄結構

我們可以知道 root目錄是系統管理員，許可權是最大的，也被稱為超級管理員 可以在這裡更改一切許可權

/home 這是使用者的主目錄；並且linux中 每一個使用者都有自己的目錄，目錄名也就是帳號的名字，如hadoop zhangsan

(4) 顯示目錄 pwd

這個在後面的環境變數配置的時候，會用的著

(5)切換使用者，以及建立目錄 都是一些指令操作，就不去細說了

(6) 這裡是一個需要注意的地方-----檔案的許可權

理解drwxrwxr-x：

檔案許可權屬性

第一個字元表示檔案類型（有d的是為目錄）

目錄

檔案

連結

...

之後的每三個字元一組 表示讀寫執行許可權（讀就是查看，寫就是修改，執行就是開啟）

第一組 所有者（目前使用者）

第二組 組（使用者組）

第三組 其他（其他使用者）

就像這個，所有者hadoop 對它有讀、改寫的權利 hadoop組也有，但其它使用者只能讀（readonly）

許可權也可以用二進位、八進位表示:

r-- 100 4

r-x 101 5

rw- 110 6

rwx 111 7

如果需要修改許可權，就要用到 chmod ； 對應的需要改變擁有者，使用 chown

(7)講一講如何編輯檔案：

vi +檔案名稱 ----- 輸入 i 進入編寫入模式，改完之後 按esc +shift +z[需要按兩次] ；或者esc+ : wq

：wq 表示儲存當前修改內容並退出

：q 不儲存直接退出

：q! 強制性退出

編輯完成之後，我們使用su 切換到其它使用者，來查看當前的檔案 cat+檔案名稱

發現可以查看，說明有讀的許可權；接著嘗試去更改 vi一下，發現動不了，還會給出警告：

這裡涉及的又是上一步的許可權問題，夥伴們自己嘗試著去改改吧

（三）

(1)在hadoop使用者下，mkdir建立一個opt目錄，用來解壓壓縮包

這個地方，就能看出來xftp的作用了，傳輸檔案

我們把後期需要的 jdk 和hadoop壓縮包，上傳至/home/hadoop ，再解壓至opt目錄下

這樣的狀態，表示成功！同樣的hadoop也是這樣操作

(2)解壓完成之後，就開始配置環境變數：

兩種方法：我習慣使用 vi

配置好之後應該是這樣的：

為什麼這樣去配置呢？

夥伴們可以自己去想一下 ，尤其是最後兩行，為什麼配置PATH的時候，等號後面加上$PATH ？

還有 加上 /bin /sbin ，有啥用呢？？

注意：每一次配置完環境變數，都需要去重新整理一遍 source .bashrc

再輸入 java hadoop ，查看一下生效了沒

這樣就表示環境變數，配置的沒毛病！

另一種編輯 echo ，夥伴們自己去嘗試吧，這裡就不寫了

(四）環境變數沒毛病了，下面對IP進行修改，將動態改成靜態

1.這些操作需要切換到root下，否則沒有許可權，無法進行修改

忘記網段了，可以再去查看一遍，輸入ifconfig

進入到 root 的 /目錄下執行這步操作

不知道哪個目錄下，有哪些檔案，就要習慣性地去使用指令 ll 查看(這個是L的小寫)

改成這樣，就OK了！

(2)配置完靜態IP，需要重啟網路 systemctl restart network

(3) 輸入 ssh 192.168.111.129 查看一下剛才的配置是否生效了 ，能連上 這一塊也沒毛病了！

2.修改主機名稱跟映射

(1)還是要進入root 超級使用者管理員下

更改兩處地方hosts hostname , 分別 vi 進入 vi /etc/hostname vi /etc/hosts

修改完成之後，千萬別忘了去咱本機 C:/Windows/system32/drivers/etc/hosts 裡面，把剛才在hosts裡寫的東西添加進去

這步操作，注意是不能直接修改的，需要複製一份到案頭，改完再拉進去替換掉

執行reboot去重啟一下！

 

(2)重新去串連一下linux

3.進入配置目錄 cd $HADOOP_CONF_DIR

(1) 看到圈起來的5個檔案了吧，接下來做的就是對其進行配置，可以根據hadoop官網進行

給個示範吧，配置第一個檔案 core-site.xml

最後一個檔案 yarn-site.sh 配置的時候，需要注意的是：第二個裡寫的是mapreduce_shuffle

(2)接下來修改slaves，將裡面的localhost 改成 python2

4.關閉防火牆以及selinux

(1)再次切換到root

注意seliux裡面，修改的是圈起來的地方，而不是最後一行！ 不要改錯給自己找麻煩

重啟一下機器！！！ reboot

(2)重新串連，登入hadoop

狀態顯示，都是關閉的

(3)執行hdfs 檔案系統格式化 hdfs namenode -format

5.配置ssh無密碼登入

(1)輸入 ssh-keygen -t rsa

這樣的狀態說明是對的，接著下一步：ssh-copy-id + 想要登入到的主機名稱 輸入hadoop密碼

6. 啟動服務 start-dfs.sh（如果沒有配置ssh 無密碼登入，那麼這裡會一直提示輸入密碼）

jps查看一下節點，發現起了3個

再啟動 start-yarn.sh 並jps查看

7. 瀏覽器訪問，輸入 python2:50070

可以成功顯示，一路暢通過來

檔案上傳：

(1)建立一個檔案 touch data.txt ，往裡面添加一些內容，儲存並退出

(2)開始上傳：

(3)查看一下，進去後可以一直找到 data.txt

 

(五)Anaconda安裝

（1）安裝的步驟都差不多，安完了就是環境變數的問題

(2) 我寫一下過程中遇到的問題

在root下執行yum -y install bzip2 ,我碰到了這個情況

我就又執行一遍 systemctl restart network , 就可以了

 

回到hadoop ，執行[hadoop@python2~]$bashAnaconda3-5.0.1-Linux-x86_64.sh

我安裝失敗了。。。

就執行了下面圖片中的操作，因為安裝失敗，也會產生一個檔案夾

又執行了一遍，注意我圈起來的地方

成功之後，重新整理一下環境變數source .bashrc，再輸入python 查看是否變成了 python3.6.3

這樣就對了！！

(3) 我執行 jupyter-notebook --ip python2 出現了下面的錯誤

執行下面圖片中的指令

發現好了，沒毛病

複製此處的網址，粘貼至瀏覽器

終於大功告成！！