Shell 管道及執行順序分析_linux shell

來源:互聯網
上載者:User
1、基本概念
a、I/O重新導向通常與 FD有關,shell的FD通常為10個,即 0~9;
b、常用FD有3個,為0(stdin,標準輸入)、1(stdout,標準輸出)、2(stderr,標準錯誤輸出),預設與keyboard、monitor、monitor有關;
c、用 < 來改變讀進的資料通道(stdin),使之從指定的檔案讀進;
d、用 > 來改變送出的資料通道(stdout, stderr),使之輸出到指定的檔案;
e、0 是 < 的預設值,因此 < 與 0<是一樣的;同理,> 與 1> 是一樣的;
f、在IO重新導向 中,stdout 與 stderr 的管道會先準備好,才會從 stdin 讀進資料;
g、管道“|”(pipe line):上一個命令的 stdout 接到下一個命令的 stdin;
h、tee 命令是在不影響原本 I/O 的情況下,將 stdout 複製一份到檔案去;
i、bash(ksh)執行命令的過程:分析命令-變數求值-命令替代(``和$( ))-重新導向-萬用字元展開-確定路徑-執行命令;
j、( ) 將 command group 置於 sub-shell 去執行,也稱 nested sub-shell,它有一點非常重要的特性是:繼承父shell的Standard input, output, and error plus any other open file descriptors。
k、exec 命令:常用來替代當前 shell 並重新啟動一個 shell,換句話說,並沒有啟動子 shell。使用這一命令時任何現有環境都將會被清除,。exec 在對檔案描述符進行操作的時候,也只有在這時,exec 不會覆蓋你當前的 shell 環境。

2、基本IO
cmd > file 把 stdout 重新導向到 file 檔案中
cmd >> file 把 stdout 重新導向到 file 檔案中(追加)
cmd 1> fiel 把 stdout 重新導向到 file 檔案中
cmd > file 2>&1 把 stdout 和 stderr 一起重新導向到 file 檔案中
cmd 2> file 把 stderr 重新導向到 file 檔案中
cmd 2>> file 把 stderr 重新導向到 file 檔案中(追加)
cmd >> file 2>&1 把 stderr 和 stderr 一起重新導向到 file 檔案中
cmd < file >file2 cmd 命令以 file 檔案作為 stdin,以 file2 檔案作為 stdout
cat <>file 以讀寫的方式開啟 file
cmd < file cmd 命令以 file 檔案作為 stdin
cmd << delimiter Here document,從 stdin 中讀入,直至遇到delimiter 分界符

3、進階IO
>&n 使用系統調用 dup (2) 複製檔案描述符 n 並把結果用作標準輸出
<&n 標準輸入複製自檔案描述符 n
<&- 關閉標準輸入(鍵盤)
>&- 關閉標準輸出
n<&- 表示將 n 號輸入關閉
n>&- 表示將 n 號輸出關閉
上述所有形式都可以前置一個數字,此時建立的檔案描述符由這個數字指定而不是預設的 0 或 1。如:
... 2>file 運行一個命令並把錯誤輸出(檔案描述符 2)定向到 file。
... 2>&1 運行一個命令並把它的標準輸出和輸出合并。(嚴格的說是通過複製檔案描述符 1 來建立檔案描述符 2 ,但效果通常是合并了兩個流。)

2>&1說明:2>&1 也就是 FD2=FD1 ,這裡並不是說FD2 的值 等於FD1的值,因為 > 是改變送出的資料通道,通俗的說是:把stderr併到stdout。
但使用類似 cmd 1>&3 這樣的形式時,原理相同,但往往不同於 2>&1 和 1>&2 通常用來合并的作用。

注意:普通cmd命令的cmd n>&n 和exec n>&n 是有區別的。

exec 0 exec 1>outfilename # 開啟檔案outfilename作為stdout
exec 2>errfilename # 開啟檔案 errfilename作為 stderr
exec 0<&- # 關閉 FD0
exec 1>&- # 關閉 FD1
exec 5>&- # 關閉 FD5

問:
如果關閉了 FD0、FD1、FD2,其後果是什嗎?
恢複 FD0、FD1、FD2與 關閉FD0、FD1、FD2 有什麼區別?代碼分別是什嗎?
開啟了FD3~FD9,我們用完之後,你覺得是將他們關閉還是恢複?

下面是提示(例子來源於CU):
exec 6>&2 2>ver # FD2(本來往monitor送的) 定向到檔案ver
command >>dev/null & #丟棄FD1(stdout)
exec 2>&6 # 恢複 FD2

4、簡單舉例(其中 yes.txt存在,no.txt不存在)
a、stdout 和stderr 都通過管道送給egrep了:
(ls yes.txt 2>&1;ls no.txt 2>&1) 2>&1|egrep \* >file
(ls yes.txt;ls no.txt) 2>&1|egrep \* >file

###
這個例子就是讓大家:理解 命令執行順序 和 管道“|”
在命令執行前,先要進行重新導向的處理,並將把 nested sub-shell 的stdout 接到 egrep 命令的 stdin。
nested sub-shell ,在 ( ) 中的兩個命令可以看作一個命令。其 stdout(FD1) 通過 “|” 作為 egrep 的 stdin,再加上 2>&1 時,初始 stdout 和 stderr 都往管道 “|” 送。
###

b、沒有任何東西通過管道送給egrep,全部送往monitor。
(ls yes.txt 2>&1;ls no.txt 2>&1) >&2|egrep \* >file
雖然在()裡面將 FD2轉往FD1,但在()外,遇到 >&2 ,結果所有的都送到monitor。

5、中階例子(其中 you 這個檔案是存在的,no 和 wu 這兩個檔案不存在)
r2007兄的:http://bbs.chinaunix.net/forum/viewtopic.php?t=221848&show_type=new&sid=cf30398c911e0d2b16313c6922123f67

條件:stderr通過管道送給egrep,正確訊息仍然送給monitor(不變)

exec 4>&1;(ls you no 2>&1 1>&4 4>&-;ls wu 2>&1 1>&4 4>&-)|egrep \* >file;exec 4>&-
或者
exec 4>&1;(ls you no;ls wu) 2>&1 1>&4 4>&-|egrep \* >file;exec 4>&-

r2007 兄在其貼已有詳細說明,如果加兩個條件:
(1)要求cmd1和cmd2並行運行;
(2)將cmd1的傳回值賦給變數 ss。

則為:
exec 3>&1;exec 4>&1
ss=$(((ls you no 2>&1 1>&3 3>&-;echo $? >&4)|egrep \* >file) 4>&1)
exec 3>&-;exec 4>&-

說明:
exec 3>&1;4>&1
### 建立FD3,是用來將下面ls那條語句(子shell)中的FD1 恢複到正常FD1,即輸出到monitor,你可以把FD3看作最初始的FD1的硬碟備份(即輸出到monitor);
### 建立FD4,到時用作儲存ls的傳回值(echo $?),你可以將FD4看作你考試時用於存放計算“echo $?”的草稿紙;

(ls you no 2>&1 1>&3 3>&-;echo $? >&4)
### 大家還記得前面說的子shell和管道吧。這條命令首先會繼承FD0、FD1、FD2、FD3、FD4,它位於管道前,所以在運行命令前會先把子shell自己的FD1和管道“|”相連。
但是我們的條件是stderr通過管道送往egrep,stdout仍然輸出到monitor。
於是通過2>&1,先把 子shell的FD1 的管道“送給”FD2,於是子shell中的stderr送往管道“|”;
再通過 1>&3,把以前的“硬碟備份”恢複給子shell的FD1,於是子shell中的FD1變成送到monitor了。
再通過3>&- ,將3關閉;
接著運行echo $? ,本來其輸出值應該送往管道的,通過 >&4 ,將 輸出 送往 “草稿紙”FD4,留以備用。

((ls you no 2>&1 1>&3 3>&-;echo $? >&4)|egrep \* >file)
於是,stderr 通過管道送給 egrep ,stdout 送給monitor,但是,還有 FD4,它送到哪去了?
$(((ls you no 2>&1 1>&3 3>&-;echo $? >&4)|egrep \* >file) 4>&1)
最後的 4>&1 ,就是把FD4 重新導向到 FD1。但由於其輸出在 $( )中,其值就賦給變數ss了。

最後一行關閉 FD3、FD4。

6、高階例子
lightspeed 版主大大的:Shell 經典問題之 [ I/O 重新導向] (http://bbs.chinaunix.net/forum/viewtopic.php?t=452079&show_type=new)
[Q] 對於命令 cmd1, cmd2, cmd3, cmd4. 如何利用單向管道完成下列功能:
1. 所有命令並存執行
2. cmd1 和 cmd2 不需要 stdin
3. cmd1 和 cmd2 的 stdout 定向到 cmd3 的 stdin
4. cmd1 和 cmd2 的 stderr 定向到 cmd4 的 stdin
5. cmd3 的 stdout 定向到檔案 a, stderr 定向到螢幕
6. cmd4 的 stdout 定向到檔案 b, stderr 定向到螢幕
7. cmd1 的返回碼賦給變數 s
8. 不能利用臨時檔案

解決方案:
exec 3>&1; exec 4>&1
my_value=$(((((cmd1 1>&3 ; echo $? >&4 )| cmd2 ) 3>&1 | cmd3 >a 2>&3 ) 2>&1 | cmd4 >b ) 4>&1)
exec 3>&-; exec 4>&-

解釋:
exec 3>&1; exec 4>&1
建立FD3 ,給cmd1恢複其FD1用和給cmd3 恢複其FD2用;
建立FD4,儲存“echo $?”輸出值的“草稿紙”

第一對括弧到第一個管道:(cmd1 1>&3 ; echo $? >&4 )|
cmd1本身沒有stdin,其stdout原要送往第一個管道,由於1>&3的作用,其stdout被送往FD3;而 >&4 的作用實際是將 cmd1 運行後的返回碼送往 FD4。cmd1的stderr預設等待下一步處理。最後,沒有往管道送任何東西;

第二對括弧到第二個管道:((cmd1 1>&3 ; echo $? >&4 )| cmd2) 3>&1|
由於第一個括弧中cmd1的 stdout 被送往 FD3,導致管道左端沒有任何輸入,cmd2 從而就沒有stdin。cmd2 的stdout則為預設的;
將第二對括弧看出一個命令,其所有的stdout送往第二個管道“|”;同時由於3>&1的作用,原先cmd1的stdout在送往FD3 又與cmd2的stdout併到一起,所以cmd1 和 cmd2 的 stdout 都送往第二個管道“|”。而cmd1、cmd2的stderr仍然預設等待下一步處理;

第三對括弧到第三個管道:(((cmd1 1>&3 ; echo $? >&4 )| cmd2 ) 3>&1 | cmd3 >a 2>&3 ) 2>&1|
cmd3 >a 2>&3:cmd3接收處理來自管道的stdin後,其 stdout 送給檔案a,其stderr送往FD3,由於FD3繼承FD1,實際上其stderr是送往monitor。如果沒有“2>&3”,那麼cmd3的stderr就會干擾cmd1和cmd2的錯誤輸出,所以它是必須的;
將第三個括弧裡完全看作一個命令,其stdout送往管道 “|”,由於2>&1,於是stderr也送往著管道。但由於cmd1、cmd2的stdout已經送給了cmd3處理,而cmd3的stdout輸出到檔案a,cmd3的stderr也送往monitor,所以實際上只有cmd1和cmd2的stderr送往管道。

cmd4 >b:cmd4接收處理來自管道的stdin後,其stdout 定向到檔案 b,stderr 預設輸出到monitor。

第四對括弧:( (((cmd1 1>&3 ; echo $? >&4 )| cmd2 ) 3>&1 | cmd3 >a 2>&3 ) 2>&1| cmd4 >b ) 4>&1
四對括弧裡面所有命令的 FD1、FD2都處理完了,但是還有“echo $? >&4”沒處理。“4>&1”的作用就是“將FD4併到stdout”,但由於其他命令的stdout都處理完了,實際上就只有 $? 的值。
又由於 $() 會建立一個管道,輸入端為()內命令,故 $? 的值被賦給變數 my_value。

最後一行是關閉FD3和FD4。
另:恢複重新導向或關閉的stdout:exec 1>&2 ,恢複重新導向或關閉的stderr:exec 2>&1。如果stdout和stderr全部都關閉了,又沒有儲存原來的FD,可以用:exec 1>/dev/tty 恢複。

++++++++++++++++++++++++++++++++++++++++++++
我嘗試回答下面的問題。如有錯誤,還請各位前輩指正!

7、在一個互動(Interactive) shell 中, 用 exec 進行 I/O 重新導向.
1). Stdin, stderr 可以定向到檔案中嗎? 有什麼結果?
a、在互動式shell中,可以將stdin定向到檔案。執行:exec 0 結果為:in 檔案中每一行均會被自動執行,並且在最後會再加執行一個 exit 命令,導致退出(或退回到正常shell下)。
如 in 檔案內容:$ more in
date
read lsp
echo hahha
echo "this is $lsp"

在提示符下執行命令:$ exec 0 $ date
Tue Jan 18 18:29:07 HKT 2005
$ read lsp # 其下面本應有的那句“ echo hahha ”的 “hahaha” 已經被讀入到變數 lsp 中了
$ echo "this is $lsp"
this is echo hahha
$ exit

b、在互動式shell中,可以將stderr定向到檔案。執行:exec 2>err
結果為:命令提示字元PS被屏蔽,輸入的命令也被屏蔽。但是命令執行的結果,如果是stdout 則會回顯到螢幕上,如果是 stderr 則不會回顯到螢幕上。其中,命令提示字元、命令、stderr均會儲存到檔案 err 中。如:
$ exec 2>err
err in out # 執行 ls 命令
Tue Jan 18 18:55:58 HKT 2005 # 執行 date 命令,而後執行了“ ls nofile”,nofile這個檔案不存在
$ # 執行 exit 命令

現在讓我們查看 err檔案:
$ more err
[lsp@ii lsp]$ ls
[lsp@ii lsp]$ date
[lsp@ii lsp]$ ls nofile
ls: nofile: No such file or directory
[lsp@ii lsp]$ exit
exit

c、在互動式shell中,可以將stdout定向到檔案。這個使我們常用到的。就不說了。就是將錯誤的輸出內容定向到檔案中。正確的輸出內容並不受影響。

2). Stdin, Stderr 可以關閉嗎? 有什麼結果?
在互動式shell中,如果關閉stdin,如:exec 0<&- ,其結果是退出(或退回到正常shell下)。
在互動式shell中,如果關閉stderr,如:exec 2>&- ,狀態同stderr定向到檔案,唯一不同的是沒有儲存下來。
在互動式shell中,如果關閉stdoutr,如:exec 1>&- ,只要執行有stdout或stderr內容送往 monitor 的命令,如ls、date這類命令,均會報錯:“ls: write error: Bad file descriptor”。其他如cd、mkdir、……這類命令不受影響。

3). 如果 stdin, stdout, stderr 進行了重新導向或關閉, 但沒有儲存原來的 FD, 可以將其恢複到 default 狀態嗎?
*** 如果關閉了stdin,因為會導致退出,那肯定不能恢複。
*** 如果重新導向或關閉 stdout和stderr其中之一,可以恢複,因為他們預設均是送往monitor(但不知會否有其他影響)。如恢複重新導向或關閉的stdout:exec 1>&2 ,恢複重新導向或關閉的stderr:exec 2>&1。
*** 如果stdout和stderr全部都關閉了,又沒有儲存原來的FD,可以用:exec 1>/dev/tty 恢複。

+++++++++++++++++++
下面參考了 r2007 兄的回複!謹以致謝!
+++++++++++++++++++

8、cmd >a 2>a 和 cmd >a 2>&1 為什麼不同?
cmd >a 2>a :stdout和stderr都直接送往檔案 a ,a檔案會被開啟兩遍,由此導致stdout和stderr互相覆蓋。
cmd >a 2>&1 :stdout直接送往檔案a ,stderr是繼承了FD1的管道之後,再被送往檔案a 。a檔案只被開啟一遍,就是FD1將其開啟。

他們的不同點在於:
cmd >a 2>a 相當於使用了FD1、FD2兩個互相競爭使用檔案 a 的管道;
而cmd >a 2>&1 只使用了一個管道FD1,但已經包括了stdout和stderr。
從IO效率上來講,cmd >a 2>&1的效率更高。
相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.