常用linux命令

1.刪除0位元組檔案
find -type f -size 0 -exec rm -rf {} \;

2.查看進程
按記憶體從大到小排列
ps -e -o "%C : %p : %z : %a"|sort -k5 -nr

3.按cpu利用率從大到小排列
ps -e -o "%C : %p : %z : %a"|sort -nr

4.列印說cache裡的URL
grep -r -a jpg /data/cache/* | strings | grep "http:" | awk -F'http:' '{print "http:"$2;}'

5.查看http的並發請求數及其TCP串連狀態：
netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'


6. sed -i '/Root/s/no/yes/' /etc/ssh/sshd_config sed在這個文裡Root的一行，匹配Root一行，將no替換成yes.


7.1.如何殺掉mysql進程：
ps aux |grep mysql |grep -v grep |awk '{print $2}' |xargs kill -9 (從中瞭解到awk的用途)

killall -TERM mysqld

kill -9 `cat /usr/local/apache2/logs/httpd.pid` 試試查殺進程PID

8.顯示運行3層級開啟的服務:
ls /etc/rc3.d/S* |cut -c 15- (從中瞭解到cut的用途，截取資料)

9.如何在編寫SHELL顯示多個資訊，用EOF
cat << EOF
+--------------------------------------------------------------+
| === Welcome to Tunoff services === |
+--------------------------------------------------------------+
EOF

10. for 的巧用(如給mysql建軟連結)
cd /usr/local/mysql/bin
for i in *
do ln /usr/local/mysql/bin/$i /usr/bin/$i
done

11. 取IP地址：
ifconfig eth0 |grep "inet addr:" |awk '{print $2}'|cut -c 6- 或者

ifconfig | grep 'inet addr:'| grep -v '127.0.0.1' | cut -d: -f2 | awk '{ print $1}'

12.記憶體的大小:
free -m |grep "Mem" | awk '{print $2}'

13.
netstat -an -t | grep ":80" | grep ESTABLISHED | awk '{printf "%s %s\n",$5,$6}' | sort

14.查看Apache的並發請求數及其TCP串連狀態：
netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

15.因為同事要統計一下伺服器下面所有的jpg的檔案的大小,寫了個shell給他來統計.原來用xargs實現,但他一次處理一部分,搞的有多個總和....,下面的命令就能解決啦.
find / -name *.jpg -exec wc -c {} \;|awk '{print $1}'|awk '{a+=$1}END{print a}'

CPU的數量（多核算多個CPU，cat /proc/cpuinfo |grep -c processor）越多，系統負載越低，每秒能處理的請求數也越多。

---------------------------------------------------------------------------------------
16 CPU負載 # cat /proc/loadavg
檢查前三個輸出值是否超過了系統邏輯CPU的4倍。

18 CPU負載 #mpstat 1 1
檢查%idle是否過低(比如小於5%)

19 記憶體空間 # free
檢查free值是否過低 也可以用 # cat /proc/meminfo

20 swap空間 # free
檢查swap used值是否過高 如果swap used值過高，進一步檢查swap動作是否頻繁：
# vmstat 1 5
觀察si和so值是否較大

21 磁碟空間 # df -h
檢查是否有分區使用率(Use%)過高(比如超過90%) 如發現某個分區空間接近用盡，可以進入該分區的掛載點，用以下命令找出佔用空間最多的檔案或目錄：
# du -cks * | sort -rn | head -n 10

22 磁碟I/O負載 # iostat -x 1 2
檢查I/O使用率(%util)是否超過100%

23 網路負載 # sar -n DEV
檢查網路流量(rxbyt/s, txbyt/s)是否過高

24 網路錯誤 # netstat -i
檢查是否有網路錯誤(drop fifo colls carrier) 也可以用命令：# cat /proc/net/dev

25 網路連接數目 # netstat -an | grep -E “^(tcp)” | cut -c 68- | sort | uniq -c | sort -n

26 進程總數 # ps aux | wc -l
檢查進程個數是否正常 (比如超過250)

27 可運行進程數目 # vmwtat 1 5
列給出的是可運行進程的數目，檢查其是否超過系統邏輯CPU的4倍

28 進程 # top -id 1
觀察是否有異常進程出現

29 網路狀態 檢查DNS, 網關等是否可以正常連通

30 使用者 # who | wc -l
檢查登入使用者是否過多 (比如超過50個) 也可以用命令：# uptime

31 系統日誌 # cat /var/log/rflogview/*errors
檢查是否有異常錯誤記錄 也可以搜尋一些異常關鍵字，例如：
# grep -i error /var/log/messages
# grep -i fail /var/log/messages

32 核心日誌 # dmesg
檢查是否有異常錯誤記錄

33 系統時間 # date
檢查系統時間是否正確

34 開啟檔案數目 # lsof | wc -l
檢查開啟檔案總數是否過多

35 日誌 # logwatch –print 配置/etc/log.d/logwatch.conf，將 Mailto 設定為自己的email 地址，啟動mail服務 (sendmail或者postfix)，這樣就可以每天收到日誌報告了。
預設logwatch只報告昨天的日誌，可以用# logwatch –print –range all 獲得所有的日誌分析結果。
可以用# logwatch –print –detail high 獲得更具體的日誌分析結果(而不僅僅是出錯日誌)。

36.殺掉80連接埠相關的進程
lsof -i :80|grep -v "PID"|awk '{print "kill -9",$2}'|sh

37.清除僵死進程。
ps -eal | awk '{ if ($2 == "Z") {print $4}}' | kill -9

38.tcpdump 抓包 ，用來防止80連接埠被人攻擊時可以分析資料
# tcpdump -c 10000 -i eth0 -n dst port 80 > /root/pkts

39.然後檢查IP的重複數 並從小到大排序 注意 "-t\ +0" 中間是兩個空格
# less pkts | awk {'printf $3"\n"'} | cut -d. -f 1-4 | sort | uniq -c | awk {'printf $1" "$2"\n"'} | sort -n -t\ +0

40.查看有多少個活動的php-cgi進程
netstat -anp | grep php-cgi | grep ^tcp | wc -l
chkconfig --list | awk '{if ($5=="3:on") print $1}'

 

允許非root使用者使用“sudo”

root身份登入系統，執行“visudo”，根據樣本添加新的一個規則（記住輸入的密碼是目前使用者密碼，而不是root密碼）
#不要求輸入密碼執行sudo命令
hadoop        ALL=(ALL)       NOPASSWD: ALL

日期 

時間戳記轉日期
date -d '1970-01-01 UTC 1312438633.724 seconds' +"%Y-%m-%d %T"

#顯示現在日期
echo `date -d now +%Y%m%d`

#顯示昨天日期
echo `date -d yesterday +%Y%m%d`

#加減時間
date +%Y%m%d --date="-1 day"
date +%Y%m%d%H --date="-1 hour"

查看網站是什麼伺服器curl -s --head "http://www.baidu.com"

查看redhat版本 cat /etc/redhat-release #我這裡顯示“CentOS release 5.5 (Final)”查看linux最大可以開啟檔案數量 寫道ulimit -a
# 關注屏顯其中一行，可以看出最大開啟檔案數量為1024
open files (-n) 1024

設定開啟檔案數量：

echo -ne "
* soft nofile 65536
* hard nofile 65536
" >>/etc/security/limits.conf

推出終端後，在執行ulimit -a，可以看出修改已經生效

zip壓縮檔zip {dist} {src}
zip -P {password} {dist} {src}

只允許root遠程登入cd /etc
touch nologin

鎖定使用者，查看機器64位還是32位uname -m #會顯示：“i686”、“x86_64” 無法遠程登入（root only） passwd -l hadoop

解鎖使用者（root only） passwd -u hadoop

列出rpm安裝程式的檔案路徑rpm -ql hadoop-0.20

查看系統已經安裝軟體rpm -qa | grep hadoop

查看當前伺服器總的cpu core數量（有多少核）more /proc/cpuinfo | grep 'processor' | wc -l

#查看每個CPU的核心數
more /proc/cpuinfo | grep 'cpu cores'

#計算當前服務cpu數量
總核心數 / 每個CPU的核心數

#查看CPU位元
getconf LONG_BIT

 查看程式的安裝路徑whereis java

 查看執行程式的路徑which java

Java代碼  

1. # 修改DNS IP  
2. vi /etc/resolv.conf  

 

Java代碼  

1. #查看記憶體  
2. free  

#查看CPU是否支援64作業系統，如果結果大於0，說明支援64bit模式（long mode）
cat /proc/cpuinfo | grep flags | grep ' lm ' | wc -l

#查看某行內容
sed -n '100{p;q}' filename

#查看使用者所屬組
grep "使用者名稱" /etc/group

#查看rpm包檔案
rpm2cpio hadoop.rpm | cpio -idmv

#添加某個路徑到執行階段程式庫，一行一個path
 vi /etc/ld.so.conf
/usr/local/lib/
（或者使用環境變數的方式，這種方向不需要root許可權）
export LD_LIBRARY_PATH=/xxxxx:$LD_LIBRARY_PATH

#centos下通過shell修改副檔名，rename <oldname> <newname> <*.files>
 #將所有html副檔名改為htm副檔名 
rename .html .htm   *.html
具體參考：http://www.cyberciti.biz/tips/renaming-multiple-files-at-a-shell-prompt.html
#通過mv也可以實現修改副檔名這個功能
mv goodYear.{htm,html}

sort命令# -u 去除重複行

# -r 降序（預設為升序）

# -o 輸出排序後資料，他與重新導向'>'最大的區別是輸出資料到原檔案
sort seq.txt -o > seq.txt

# -n 根據數值大小排序

# -k 指定根據某列排序
sort num.txt -k2  # 根據第二列排序（預設分隔符號為空白格、tab） 

# -t 指定資料行分隔符號，僅支援一個字元
# -m 歸併排序

linux 命令列參數引用運行命令：
./test.sh 111 222 333 444

echo 運行檔案名稱：$0
#./test.sh

echo 第一個參數：$1
#111

echo 參數個數：$#
#4

echo 最後一個：$_
#444

echo 所有參數，參數被認為是多個字串：$@
#111 222 333 444

echo 所有參數，參數被認為是一個字串: $*
#111 222 333 444

echo 程式pid: $$

echo 退出code: $?

less命令 tip1：敲入50p，可以進入50%的文檔位置，支援小數，如95.5p

指令碼改密碼 寫道#方法一
echo 123123 |passwd --stdin abc
#方法二
#echo "root:!@#$QW12qw"|chpasswd
#pwdadm -c root

http://www.aixchina.net/club/thread-69699-1-1.html一行命令建立使用者並設定密碼useradd -p `openssl passwd <pwd>` -g <group_name> <username>

建立使用者並禁止遠程登入useradd -s /sbin/nologin ak47

查詢使用者crontab運行記錄 cat /var/log/cron | grep <username>

修改linux使用者目錄usermod -d /home/hdfs -U hdfs磁碟速度測試hdparm -t /dev/sda1

快速尋找檔案（根據檔案名稱）# locate命令負責尋找，updatedb命令組建檔案索引（daily）
locate *qq*.txt

chkconfig 寫道chkconfig --list | more # 列出所有系統服務

chkconfig <service_name> off|on # 關閉、開啟系統服務

第一次SSH登入不提示配置ssh conf檔案中StrictHostKeyChecking no


top c     # 顯示程式完整路徑
m    # 按照記憶體排序
P    #  按照CPU排序

bz2檔案解壓縮bunzip2 yy.bz2

查看重複次數（shell 實現的group by + count） # uniq前一定要先sort，uniq參數-c，將列印分組重複次數
cat xx.TXT | sort | uniq -c

tar命令使用 tar -zcf my.tgz my # 壓縮打包
tar -cf my.tgz my # 不壓縮打包


tar -zxf my.tgz my # 解壓縮包
tar -xf my.tgz my # 解不壓縮的包

tar -tf # 查看tar包結構find #-o: 或條件
# 尋找目前的目錄下所有.htm和.html結尾的檔案
find . \( -name "*.htm" -o -name "*.html" \)

# -a: and條件

grep 寫道#尋找文本中包含boy和girl的行
cat my.txt | grep -E 'boy|girl'

# 根據常值內容尋找檔案名稱，"-H"用於輸出檔案名
find . -name '*city*' -ls -exec zgrep 'null' {} -H  \;  

修改hostname 方法一：hostname <new hostname>
方法二：vi /etc/sysconfig/network

查看開啟檔案數lsof |wc -l
lsof -p pid |wc -l