RHEL5 實現高可用HA叢集+GFS+EnterpriseDB

前言：
    幾個大家要注意的地方：
    1、做Cluster應該要有Fence裝置，當一台機器出現問題時處於正常狀態的機器會通過Fence將其重啟或關機以釋放IP、磁碟等資源。
    2、做HA要對服務的啟動指令碼做一點修改以符合Cluster的要求。
    3、GFS要建立在Cluster之上。
    4、RHEL5 AP(進階平台版)已經帶有Cluster組件，當中包括GFS、Cluster Suite、LVS等，不像RHEL4那樣用另外安裝。

1、網路
我的IP為
iscsi: 192.168.122.1
edb1: 192.168.122.21
edb2: 192.168.122.22

2.1、 Linux中安裝iscsi-target
到sf.net下載最新的iscsi-target
# tar zxvf iscsi-target.xxxxx.tar.gz
# cd iscsi-target.xxxxx
# make
# make install
# mkdir /iscsidisk
# dd if=/dev/zero of=/iscsidisk/sharedisk1.img bs=1k count=1 seek=2000K
    (以上這句是用dd建立了一個2G大小的映像檔案，也就是我們的一個iscsi映像磁碟)
# vim /etc/ietd.conf
    找到"Target iqn"，注意這行Target後的一串字元，是iscsi的標記
    找到"Lun 0"一行，改為
    Lun 0 Path=/iscsidisk/sharedisk1.img,Type=fileio
# chkconfig iscsi-target on
# /etc/init.d/iscsi-target start

2.2、在edb1、 edb2中串連iscsi
# rpm -ivh iscsi-initiator-utils-6.2.0.742-0.5.el5.rpm
    (RHEL5的光碟片中有這個檔案)
# chkconfig iscsid start
# /etc/init.d/iscsid start
# iscsiadm -m discovery -t sendtargets -p 192.168.122.1:3260
    172.16.122.1:3260,1 iqn.2001-04.com.example:storage.disk2.sys1.xyz
    (iqn.2001..........這部份應該和iscsi伺服器中ietd.conf中的標記一樣)
# iscsiadm -m node -T iqn.2001-04.com.example:storage.disk2.sys1.xyz -p 172.16.122.1:3260 -l
    (以上兩個iscsiadm的操作只在第一次串連iscsi伺服器時要執行，以後每當iscsid啟動都會自動連接)
# fdisk -l
    (應該可以看到多出來一個/dev/sdx的分區)

3、在edb1、edb2中安裝EnterpriseDB
在 EnterpriseDB的官方網站下載到其最新版本：http://www.enterprisedb.com
EnterpriseDB(以下我簡寫為 EDB)是一個基於PostgreSQL並與Oracle文法相容的資料庫在OLTP的多並發性交易處理中比PostgreSQL有了很大的提高！
下 載軟體包進行解壓(安裝要有root許可權)：
#tar zxvf edb-linux-x86_82412.tar.gz
#cd edb-linux-x86_82412
#./pre-Install.sh
    如果出現You may now install EnterpriseDB就可以正常安裝了，這裡主要是針對不同的LINUX版本產生EDB所要的串連的
#./edb-linux-x86_82412.bin -console
    安裝過程中會要求序號
    Select License Type:

    [X] 1 - Install Full or Evaluation License
    [ ] 2 - Install Express License

    To select an item enter its number, or 0 when you are finished: [0]
    這裡如果你有在EDB官網上註冊的話會收到一個30天無限制試用的SN，如果沒有的話可以選2安裝限制為1 CPU/1G RAM/6G Data的版本。
    其它的選項預設就好了！

4、雙節點HA叢集
    4.1 Fence
       做HA的話就要有fence裝置，這是什麼東東，如APC、HP ilo、IPMI等等
       這裡以HP ilo為列，當前edb1、edb2的ilo IP分別是10.11.0.1、10.11.0.2使用者名稱密碼為redhat，在edb1中測試：
       # fence_ilo -a 10.11.0.2 -l redhat -p redhat -o status
       在edb2中測試：
       # fence_ilo -a 10.11.0.1 -l redhat -p redhat -o status
       如果返回正確，證明fence已經正常

    4.2 HA Cluster
       在REDHAT中配置Cluster可以通過GUI下的Cluster Manager進行非常簡單以下我只給出設定檔
       以下檔案CP到每個節點上
       /etc/cluster/cluster.conf

<?xml version="1.0"?>
<cluster alias="edb_ha" config_version="6" name="edb_ha">
        <fence_daemon post_fail_delay="0" post_join_delay="3"/>
        <clusternodes>
                <clusternode name="edb1" nodeid="1" votes="1">
                        <fence>
                                <method name="1">
                                        <device name="ilo1"/>
                                </method>
                        </fence>
                </clusternode>
                <clusternode name="edb2" nodeid="2" votes="1">
                        <fence>
                                <method name="1">
                                        <device name="ilo2"/>
                                </method>
                        </fence>
                </clusternode>
        </clusternodes>
        <cman expected_votes="1" two_node="1">
                <multicast addr="224.0.0.1"/>
        </cman>
        <fencedevices>
                <fencedevice agent="fence_ilo" hostname="10.11.0.1" login="redhat" name="ilo1" passwd="redhat"/>

                <fencedevice agent="fence_ilo" hostname="10.11.0.2" login="redhat" name="ilo2" passwd="redhat"/>
        </fencedevices>
        <rm>
                <failoverdomains>
                        <failoverdomain name="edb_domain" ordered="0" restricted="0">
                                <failoverdomainnode name="edb1" priority="1"/>
                                <failoverdomainnode name="edb2" priority="1"/>
                        </failoverdomain>
                </failoverdomains>
                <resources>
                        <ip address="192.168.122.20" monitor_link="1"/>
                        <clusterfs device="/dev/sdx1" force_unmount="0" fsid="10617" fstype="gfs" mountpoint="/data" name="Data_GFS" options=""/>
                </resources>
                <service autostart="1" domain="edb_domain" name="enterpriseDB" recovery="relocate">
                        <script file="/etc/init.d/edb_8.2" name="edb_script"/>
                        <ip ref="192.168.122.20"/>
                        <clusterfs ref="Data_GFS"/>
                </service>
        </rm>
</cluster>
       /etc/hosts加入以下

192.168.122.21 edb1
192.168.122.22 edb2

    4.3為了使EDB可以實現HA，我們要對EDB的啟動指令碼進行一點修改，如果我們要做其它資料庫或服務的叢集也是一樣，具體隨要求為：指令碼要有 start、stop、status、restart指令，並要求運行正常時返回"0"，運行出錯時返回"非0"。
   
5、GFS
    上面的HA Cluster的設定檔當中已經有GFS的設定了，GFS要求建立在CLUSTER之上，所以只有在CLUSTER中的節點才能正常地掛載GFS分區， 下來我們格式化一個GFS的分區

    5.1
    在edb1中執行以下操作
    把/dev/sdx分為一個分區/dev/sdx1，如果對分區不熟請看“鳥哥”的文章
    也可以到www.redhat.com/docs下 載REDHAT的官方管理手冊進行參考
    # mkfs.gfs2 -p lock_dlm -t edb_ha:gfs1 -j 3 /dev/sdx1
    -p lock_dlm    定義為DLM鎖方式，如果不加此參數，當在兩個系統中同時掛載此分區時就會像EXT3格式一樣，兩個系統的資訊不能同步
    -t edb_ha:gfs1 DLM鎖所在的表名字，edb_ha應與cluster.conf中Cluster的name相同，gfs1為一個自訂的名字我認為可以理解為分區的卷 標
    -j 3           GFS分區中最多支援多少個節點同時掛載，這個可以在使用中動態調整
    /dev/sdx1     要格式化的分區
    #make /data
    #mount /dev/sdx1 /data
    #cp /opt/EnterpriseDB/8.2/data/ /data/edb_data/ -rp
    #/etc/init.d/cman start
   
    5.2
    在edb2中
    # /etc/init.d/iscsid restart
    # fdisk -l (看看是否與edb1一樣)
    # mount /dev/sdx1 /data
    # ll /data (看看是否與edb1一樣)
   
    5.3測試
    在edb1、edb2中
    # /etc/init.d/cman start
    # /etc/init.d/rgmanager start
       (起動叢集)
    # clustat
       (查看叢集狀態)
    可以通過/etc/init.d/edb_8.2 stop關閉edb服務、拔網線、重啟系統等對叢集進行測試
   
    5.4
    在edb1、edb2中
    # chkconfig cman on
    # chkconfig rgmanager on
    以使系統啟動時自動開啟HA叢集

關於REDHAT的叢集，請先閱讀 REDHAT官方的CLUSTER手冊，http://www.redhat.com/docs