Linux命令運行監測和軟體安裝,linux命令軟體安裝
監測命令的已耗用時間 time command
$ time sleep 5real 0m5.003s # 程式開始至結束的時間,包括其它進程佔用的時間片和IO時間user 0m0.001s # 進程真正執行佔用CPU的時間sys 0m0.002s # 進程在核心中調用所消耗的CPU時間
user+sys是進程實際的CPU時間。如果多線程執行,這個時間可能大於Real。如果IO是瓶頸,則real會大於user+sys (單線程)。 查看正在啟動並執行命令和其資源使用 top統計資訊區第一行:任務隊列資訊,與uptime命令執行結果相同
- 17:32:34:系統目前時間
- up 3 days, 8:04:主機已已耗用時間
- 5 users:使用者串連數(不是使用者數,who命令)
- load average: 0.09, 0.12, 0.19:系統平均負載,統計最近1,5,15分鐘的系統平均負載
補充:uptime -V可查詢版本 第二行:進程資訊
- Tasks: 287 total:進程總數
- 2 running:正在啟動並執行進程數
- 285 sleeping:睡眠的進程數
- 0 stopped:停止的進程數
- 0 zombie:殭屍進程數
第三行:CPU資訊(當有多個CPU時,這些內容可能會超過兩行)
- 1.5 us:使用者空間所佔CPU百分比
- 0.9 sy:核心空間佔用CPU百分比
- 0.0 ni:使用者進程空間內改變過優先順序的進程佔用CPU百分比
- 97.5 id:空閑CPU百分比
- 0.2 wa:等待輸入輸出的CPU時間百分比
- 0.0 hi:硬體CPU中斷佔用百分比
- 0.0 si:非強制中斷佔用百分比
- 0.0 st:虛擬機器佔用百分比
第四行:記憶體資訊(與第五行的資訊類似與free命令)
- 8053444 total:實體記憶體總量
- 7779224 used:已使用的記憶體總量
- 274220 free:閒置記憶體總量(free+used=total)
- 359212 buffers:用作核心緩衝的記憶體量
第五行:swap資訊
- 8265724 total:交換分區總量
- 33840 used:已使用的交換分區總量
- 8231884 free:空閑交換區總量
- 4358088 cached Mem:緩衝的交換區總量,記憶體中的內容被換出到交換區,然後又被換入到記憶體,但是使用過的交換區沒有被覆蓋,交換區的這些內容已存在於記憶體中的交換區的大小,相應的記憶體再次被換出時可不必再對交換區寫入。
進程資訊區
- PID:進程id
- PPID:父進程id
- RUSER:Real user name(看了好多,都是這樣寫,也不知道和user有什麼區別,歡迎補充此處)
- UID:進程所有者的id
- USER:進程所有者的使用者名稱
- GROUP:進程所有者的組名
- TTY:啟動進程的終端名。不是從終端啟動的進程則顯示為?
- PR:優先順序
- NI:nice值。負值表示高優先順序,正值表示低優先順序
- P:最後使用的CPU,僅在多CPU環境下有意義
- %CPU:上次更新到現在的CPU時間佔用百分比
- TIME:進程使用的CPU時間總計,單位秒
- TIME+:進程所使用的CPU時間總計,單位1/100秒
- %MEM:進程使用的實體記憶體百分比
- VIRT:進程使用的虛擬記憶體總量,單位kb。VIRT=SWAP+RES
- SWAP:進程使用的虛擬記憶體中被被換出的大小
- RES:進程使用的、未被換出的實體記憶體的大小
- CODE:可執行代碼佔用的實體記憶體大小
- DATA:可執行代碼以外的部分(資料區段+棧)佔用的實體記憶體大小
- SHR:共用記憶體大小
- nFLT:分頁錯誤次數
- nDRT:最後一次寫入到現在,被修改過的頁面數
- S:進程狀態(D=不可中斷的睡眠狀態,R=運行,S=睡眠,T=跟蹤/停止,Z=殭屍進程)
- COMMAND:命令名/行
- WCHAN:若該進程在睡眠,則顯示睡眠中的系統函數名
- Flags:任務標誌
預設情況下,只顯示比較重要的列 檔案系統和磁碟資訊監測查看系統硬碟大小和分配
df -h
du -sh *
軟體安裝不同於windows,Linux下軟體安裝的方式比較多樣,有些也比較複雜。每種安裝方式都有自己的優點和局限,也都有可能遇到問題。在我們理解了原理之後,藉助Google,可以更好地協助解決問題。系統包管理器安裝軟體安裝最方便的、一般也不容易出問題的是利用系統內建的包管理工具,可以解決大部分的依賴問題。但也有一些不足,主要3點:
- 需要根使用者的許可權。
- 如果系統版本老,安裝的軟體版本也會比較老。使用新版本有時又會發生衝突。
- 生物資訊學中不少軟體不在系統的安裝源裡面。
解決這些問題,就需要自己去軟體官網尋找最新的分發包,又有兩種可能,一種是分發包直接就是編譯好的軟體,下載下來設定下可執行屬性並放入環境變數就可以運行了,如blast或bowtie這樣的工具。 另一種則是需要從源碼編譯安裝,下面主要講解下這個。 源碼編譯安裝源碼編譯經典的三部曲configure, make, make install。如果不出問題,一步步執行下來就安裝好了。但出了問題,就不是比較容易解決的。如果知道這背後的機制,對解決問題會有很大協助的。 configure是檢查系統的庫檔案、類檔案、依賴軟體是否存在以及它們的版本是否滿足需求,並根據實際檢測結果產生Makefile的工具。一般是一堆bash命令的組合。通常也需要在這一步配置一些參數。最常用的就是指定軟體的安裝目錄--prefix=/home/ct/soft/specific_name。 make則是具體的編譯過程。編譯的語句都寫在了Makefile中。make預設編譯Makefile中出現的第一個target,也可以指定target編譯,並根據Makefile的設定方式依次編譯所有依賴的東西。 Makefile通常的格式和布局如下
# 假設當前檔案夾下Makefile檔案中內容如下 # first: target名字# echo "compile first": target對應的命令,任何Linux命令都可以$ cat Makefilefirst: echo "compile first"all: first second echo "compile all"second: echo "compile second" # 直接運行make,會make第一個出現的target$ makeecho "compile first"compile first# make first與直接make相同,因為它出現在第一個 $ make firstecho "compile first"compile first# all依賴於first, second,因此make all會先執行make first, make second# 然後才是自己所代表的命令 $ make allecho "compile first"compile firstecho "compile second"compile secondecho "compile all"compile all
有些軟體的安裝,在執行完make後就獲得了可執行程式,可以跳過make install的過程,只需要放入環境變數就可以運行了。但部分軟體還需要一些依賴關係,所以需要執行make install才算完成了完整的安裝。
- make install通常是拷貝make編譯出來的可執行檔或者依賴的庫檔案(如果有的話)到configure時的--prefix指定的目錄下。
- 安裝好的軟體放入環境變數, 就可以快樂的運行了。
兩點注意:
- 從源碼編譯最難解決的問題就是依賴的庫檔案、標頭檔、依賴軟體的缺失或版本不匹配,沒有統一的解決辦法,原則就是缺啥補啥。後面提到的Anaconda,會對庫檔案的依賴提供一個簡便的解決辦法。
- 三部曲每一步的執行,螢幕上都會輸出比較多的資訊,一定仔細看最後有沒有ERROR類的字樣,對判斷軟體有無安裝成功和下一步要怎麼解決問題會很有協助。
Linux包的安裝通用方式主要是這些,後面還會提到兩種虛擬安裝方式,都是為了簡化安裝而提出的。 Python包的安裝在沒有Anaconda(或其前身canopy)出現之前,Python包以其管理混亂、安裝困難著稱。有了Anaconda後,不只python包的安裝簡單了,其它軟體的安裝也都方便了 (詳見後面Anaconda的兩個福利)。
- 首先下載Anaconda的安裝包 https://www.continuum.io/downloads。
- Anaconda的安裝包做的很人性化,一個bash指令碼,只要運行bash Anacond*x86_64.sh,然後按照提示操作就可以了。
- 安裝好後,設定或重新整理下環境變數就可以使用了。
- 此後再安裝python的包只需要執行pip install pakcage_name或conda install pakckage_name就可以了。
- 這裡唯一需要注意的就是確認使用的python或pip確實是Anaconda安裝的python或pip。
- which python查看使用的python命令。
- 如果使用的還是系統預設的python,則需要檢查下環境變數的設定。
Anaconda的兩個福利1、標頭檔和庫檔案庫這是Anaconda安裝後的目錄結構
bin envs Examples imports lib LICENSE.txt pkgs share varconda-meta etc gcc include lib64 mkspecsplugins ssl
其中lib目錄下,一部分是依賴的動態連結程式庫, .so檔案;這也是在源碼編譯時間最常見的攔路虎。通常,只需要把這個目錄放入環境變數LD_LIBRARY_PATH裡面比如export LD_LIBARY_PATH=${LD_LIBARY_PATH}:anaconda_path/lib就可以解決問題。
cairo libitm.a libQtScript.so.4cmake libitm.la libQtScript.so.4.8engines libitm.so libQtScript.so.4.8.7gcc libitm.so.1 libQtScriptTools.lagcj-4.8.5-14 libitm.so.1.0.0 libQtScriptTools.prlglib-2.0 libitm.spec libQtScriptTools.solibargtable2.a libjpeg.a libQtScriptTools.so.4libargtable2.la libjpeg.la libQtScriptTools.so.4.8libargtable2.so libjpeg.so libQtScriptTools.so.4.8.7libargtable2.so.0 libjpeg.so.8 libQtSql.lalibargtable2.so.0.1.8 libjpeg.so.8.4.0 libQtSql.prllibasan.a libmkl_avx2.so libQtSql.solibasan.la libmkl_avx512_mic.so libQtSql.so.4libasan_preinit.o libmkl_avx512.so libQtSql.so.4.8libasan.so libmkl_avx.so libQtSql.so.4.8.7
2、biocondabioconda提供了一個虛擬環境,方便軟體的編譯安裝。 R包的安裝需要注意的也是依賴的軟體或庫檔案的版本,同樣的Anaconda提供的lib庫也可以直接拿來用。