Oracle 11g RAC安裝注意事項雜記

Oracle 11g RAC安裝注意事項雜記

本文僅僅用於記錄在平時安裝Oracle RAC過程中出現的一些問題記錄，後面如果遇到小細節問題也是補充進來。

1. HAIP hosts檔案雙內連網卡配置樣本：

# vi /etc/hosts  
127.0.0.1            localhost.localdomain localhost    
192.168.0.6          db1 
192.168.0.7          db2 
192.168.0.8          db1-vip    
192.168.0.9          db2-vip    
10.10.10.10          db1-priv1    
20.20.20.10          db1-priv2    
10.10.10.20          db2-priv1    
20.20.20.20          db2-priv2

2. 配置多網卡綁定(可選功能)

說明:    
(1) 同一個交換器上要做兩個連接埠綁定即可, 伺服器配置按如下配置即可，提示要先載入bonding到核心中。    
(2) 伺服器上兩個網卡分別接入兩個不同交換器上的話，只能採用主備模式，個人感覺存在不穩定因素，比如要強制手動設定網關。    
(3) 伺服器上兩個網卡分別接入一個交換器上，如果不配置交換器繫結模式，只能採用主備模式。    
(4) Oracle 11.2.0.2 RAC以後版本最多支援4個內連網卡提高效能，不需要綁定，可以根據情況適當採用多網卡部署。    

3. Oracle 11g RAC iptables配置，本來資料庫一般是不配置防火牆的，但是各種因素要求配置，好不容易找到一個國外一個文章配置，經安裝實踐與應用沒有出現問題。

iptables -P OUTPUT ACCEPT  
iptables -A INPUT -i lo -j ACCEPT    
iptables -A INPUT -p icmp -m icmp --icmp-type 8 -j ACCEPT 
iptables -A INPUT -p tcp -m tcp --dport 22 -j ACCEPT    
iptables -A INPUT -m state --state NEW -m tcp -p tcp -s 192.168.0.0/24 --dport 1521 -j ACCEPT    
iptables -A INPUT -p all -m state --state ESTABLISHED,RELATED -j ACCEPT    
iptables -A INPUT -s 192.168.0.6/32 -i eth0 -j ACCEPT    
iptables -A INPUT -s 192.168.0.7/32 -i eth0 -j ACCEPT    
iptables -A INPUT -s 192.168.0.8/32 -i eth0 -j ACCEPT    
iptables -A INPUT -s 192.168.0.9/32 -i eth0 -j ACCEPT    
iptables -A INPUT -s 192.168.0.10/32 -i eth0 -j ACCEPT    
iptables -A INPUT -i eth1 -j ACCEPT    
iptables -A INPUT -i eth2 -j ACCEPT    
iptables -A INPUT -s 10.10.10.0/24 -d 230.0.1.0 -j ACCEPT    
iptables -A INPUT -s 10.10.10.0/24 -d 224.0.0.251 -j ACCEPT    
iptables -A INPUT -s 20.20.20.0/24 -d 230.0.1.0 -j ACCEPT    
iptables -A INPUT -s 20.20.20.0/24 -d 224.0.0.251 -j ACCEPT    
iptables -A INPUT -i eth0 -d 230.0.1.0  -j ACCEPT    
iptables -A INPUT -i eth0 -d 224.0.0.251 -j ACCEPT    
iptables -A INPUT -p all -m state --state INVALID,NEW -j DROP    
iptables -P INPUT DROP

service iptables save

4. 對於Linux 6.x 平台，可能會發現在limits.conf檔案中對參數nproc的修改會被忽略。

# vi /etc/security/limits.d/90-nproc.conf

# 修改成如下內容來實現對nproc的限制：

*          soft    nproc    16384  
root      soft    nproc    unlimited

5. 關閉THP

在RedHat6, OEL6, SLES 11或UEK2核心上，請確認關閉THP（Transparent HugePages）以防止其帶來的效能問題導致節點和執行個體驅逐。

參考文檔：  
ALERT Disable Transparent HugePages on SLES11 RHEL6 OEL6 and UEK2 Kernels(Doc ID 1557478.1)

# vi /etc/rc.local

echo never > /sys/kernel/mm/transparent_hugepage/enabled  
echo never > /sys/kernel/mm/transparent_hugepage/defrag

6. 配置ESXi5.1共用儲存

VMware ESXi 5.1安裝RHEL6.5 11G RAC，採用虛擬機器磁碟做為共用儲存磁碟。說明一下需要注意的地方.  
SCSI控制器選擇  LIS Logic並行,類型選擇"虛擬","虛擬"磁碟可以在同一台伺服器上共用,磁碟的虛擬設備節點選擇1:1,1:2依次類推,這裡添加了6塊共用磁碟。    
node1建立磁碟之後,node2選擇已有磁碟,選擇路徑添加即可.    
在node1,和node2的vmx設定檔中添加以下語句,否則無法擷取磁碟UUID    
disk.enableUUID = "TRUE"    
說明：這種環境個人感覺還是穩定性不高，測試環境搭建用用還行，也出現過莫明的問題，沒有採用共用儲存方式可靠。

7. EMC儲存 udev方式配置ASM磁碟 udev設定檔樣本

EMC儲存配置udev檔案格式不一樣，起碼與IBM等儲存不一樣，所以這裡特別記錄之，需要在/etc/udev/rules.d 目錄上新增了50-udev.rules 檔案，redhat 5 下面就有這個檔案，到redhat 6下就沒了,並把下列資訊加入50-udev.rules，現在在oracle上已經可以正常安裝asm了  
vi /etc/udev/rules.d/50-udev.rules

SUBSYSTEM=="block", KERNEL=="emcpowera1", GROUP="asmadmin", OWNER="grid", MODE="0660"  
SUBSYSTEM=="block", KERNEL=="emcpowerb1", GROUP="asmadmin", OWNER="grid", MODE="0660"    
SUBSYSTEM=="block", KERNEL=="emcpowerc1", GROUP="asmadmin", OWNER="grid", MODE="0660"    
SUBSYSTEM=="block", KERNEL=="emcpowerd1", GROUP="asmadmin", OWNER="grid", MODE="0660"    
SUBSYSTEM=="block", KERNEL=="emcpowere1", GROUP="asmadmin", OWNER="grid", MODE="0660"    
SUBSYSTEM=="block", KERNEL=="emcpowerf1", GROUP="asmadmin", OWNER="grid", MODE="0660"    
SUBSYSTEM=="block", KERNEL=="emcpowerg1", GROUP="asmadmin", OWNER="grid", MODE="0660"    
SUBSYSTEM=="block", KERNEL=="emcpowerh1", GROUP="asmadmin", OWNER="grid", MODE="0660"    
SUBSYSTEM=="block", KERNEL=="emcpoweri1", GROUP="asmadmin", OWNER="grid", MODE="0660"    
SUBSYSTEM=="block", KERNEL=="emcpowerj1", GROUP="asmadmin", OWNER="grid", MODE="0660"    
SUBSYSTEM=="block", KERNEL=="emcpowerk1", GROUP="asmadmin", OWNER="grid", MODE="0660"