HP-UX平台Oracle啟動執行個體遭遇：ORA-27154,ORA-27300,ORA-27301,ORA-27302

標籤：相關   tun   參數配置   RoCE   pac   creat   沒有   執行個體   .com   

環境：HP-UX 11.31 + Oracle 11.2.0.4
現象：在hpux安裝Oracle，按業務需求配置參數後，無法啟動執行個體。
報錯如下：

ORA-27154：post/wait create failedORA-27300：OS system dependent operation:semget failed with status: 28ORA-27301：OS failure message: No space left on deviceORA-27302：failure occurred at: sskgpcreates

• 1.初步定位
• 2.驗證猜想
• 3.深入分析

1.初步定位

快速判定這是執行個體就無法啟動，也就是nomount這一階段就無法成功，首先想到的是參數配置不合理。
經過嘗試，最終發現是processes參數設定過高，導致無法啟動執行個體，當前期望設定8000，測試調整為7000就可以成功啟動。

去MOS搜尋hpux平台這個錯誤沒有找到結果，但是卻有其他平台的匹配結果：

• Database Startup Fails with ORA-27300: OS system dependent operation:semget failed with status: 28 (文檔 ID 949468.1)
  
• Instance Startup Fails With Error ORA-27154,ORA-27300,ORA-27301,ORA-27302 (文檔 ID 314179.1)

而這些文檔的原因基本定位在sem相關的核心參數調整上。

2.驗證猜想

找到HPUX關於sem核心參數的當前設定：

kctune -h -B semmni=4096kctune -h -B semmns=8192kctune -h -B semmnu=4092kctune -h -B semvmx=32767

這些都是Oracle官方文檔建議的設定值，但現在看來，目前這些核心參數的設定不能滿足此時使用者業務所要求的processes值。

網上搜尋到這些核心參數值的說明：

種種跡象都表明和sem參數有關，那麼嘗試將semmni和semmns參數都修改為2倍值，即8192和16384。

kctune -h -B semmni=8192kctune -h -B semmns=16384--重啟作業系統生效:shutdown -ry 0

之後再次將processes設定為8000，已經可以正常啟動執行個體，問題解決。

3.深入分析

當semmni和semmns參數值是官方文檔預設值時，按業務要求設定process為8000，無法啟動執行個體。將semmni和semmns參數值都設定為二倍值之後，再測試將process設定為16000時，同樣無法啟動執行個體。
可以看到的確這個sem訊號量和processes有著某種關聯，而且此時啟動到nomount狀態，實際並沒有使用者串連，說明訊號量是預先分配的，下面來具體驗證。
以下所有測試都是啟動資料庫到nomount：

3.1 設定processes值為預設值150
此時ipcs觀察到的結果：

[email protected][/oradata/orcl]ipcs -asIPC status from /dev/kmem as of Fri Jun  1 16:57:15 2018T                   ID     KEY        MODE        OWNER     GROUP   CREATOR    CGROUP NSEMS   OTIME    CTIME Semaphores:s                    0 0x4f1c06da --ra-------      root      root      root      root     1 11:44:05 11:44:05s                    1 0x411c01b6 --ra-ra-ra-      root      root      root      root     1 11:44:07 11:44:05s                    2 0x4e0c0002 --ra-ra-ra-      root      root      root      root     2 11:44:07 11:44:05s                    3 0x41203bb5 --ra-ra-ra-      root      root      root      root     2 no-entry 11:44:05s                    4 0x01090522 --ra-r--r--      root      root      root      root     1 no-entry 11:44:11s                 8197 0x00a5c581 --ra-------     sfmdb     users     sfmdb     users    17 11:44:13 11:44:13s                 8198 0x00a5c582 --ra-------     sfmdb     users     sfmdb     users    17 11:44:13 11:44:13s                 8199 0x00a5c583 --ra-------     sfmdb     users     sfmdb     users    17 11:44:13 11:44:13s                 8200 0x00a5c584 --ra-------     sfmdb     users     sfmdb     users    17 11:44:13 11:44:13s                 8201 0x00a5c585 --ra-------     sfmdb     users     sfmdb     users    17 11:44:13 11:44:13s                 8202 0x00a5c586 --ra-------     sfmdb     users     sfmdb     users    17 11:44:13 11:44:13s                 8203 0x00a5c587 --ra-------     sfmdb     users     sfmdb     users    17 16:32:32 11:44:13s                   12 0x4914942f --ra-r--r--      root      root      root      root     1 11:44:32 11:44:32s                   13 0x410c030b --ra-ra-ra-      root      root      root      root     1 11:44:33 11:44:33s               196622 0x5c23a1bc --ra-r-----    oracle       dba    oracle       dba   154 no-entry 16:47:46

可以看到NSEMS的數值是154，此時可以滿足150的processes。

3.2 設定processes值為8000
此時ipcs觀察到的結果：

[email protected][/oradata/orcl]ipcs -asIPC status from /dev/kmem as of Fri Jun  1 17:00:50 2018T                   ID     KEY        MODE        OWNER     GROUP   CREATOR    CGROUP NSEMS   OTIME    CTIME Semaphores:s                    0 0x4f1c06da --ra-------      root      root      root      root     1 11:44:05 11:44:05s                    1 0x411c01b6 --ra-ra-ra-      root      root      root      root     1 11:44:07 11:44:05s                    2 0x4e0c0002 --ra-ra-ra-      root      root      root      root     2 11:44:07 11:44:05s                    3 0x41203bb5 --ra-ra-ra-      root      root      root      root     2 no-entry 11:44:05s                    4 0x01090522 --ra-r--r--      root      root      root      root     1 no-entry 11:44:11s                 8197 0x00a5c581 --ra-------     sfmdb     users     sfmdb     users    17 11:44:13 11:44:13s                 8198 0x00a5c582 --ra-------     sfmdb     users     sfmdb     users    17 11:44:13 11:44:13s                 8199 0x00a5c583 --ra-------     sfmdb     users     sfmdb     users    17 11:44:13 11:44:13s                 8200 0x00a5c584 --ra-------     sfmdb     users     sfmdb     users    17 11:44:13 11:44:13s                 8201 0x00a5c585 --ra-------     sfmdb     users     sfmdb     users    17 11:44:13 11:44:13s                 8202 0x00a5c586 --ra-------     sfmdb     users     sfmdb     users    17 11:44:13 11:44:13s                 8203 0x00a5c587 --ra-------     sfmdb     users     sfmdb     users    17 16:32:32 11:44:13s                   12 0x4914942f --ra-r--r--      root      root      root      root     1 11:44:32 11:44:32s                   13 0x410c030b --ra-ra-ra-      root      root      root      root     1 11:44:33 11:44:33s               229390 0x5c23a1bc --ra-r-----    oracle       dba    oracle       dba  2001 no-entry 17:00:44s                49167 0x5c23a1bd --ra-r-----    oracle       dba    oracle       dba  2001 no-entry 17:00:44s                49168 0x5c23a1be --ra-r-----    oracle       dba    oracle       dba  2001 no-entry 17:00:44s                49169 0x5c23a1bf --ra-r-----    oracle       dba    oracle       dba  2001 no-entry 17:00:44s                 8210 0x5c23a1c0 --ra-r-----    oracle       dba    oracle       dba  2001 no-entry 17:00:44

可以看到NSEMS值為2001，一共5組，此時可以滿足8000的processes。

3.3 設定processes值為16000
此時ipcs觀察到的結果：

[email protected][/oradata/orcl]ipcs -asIPC status from /dev/kmem as of Fri Jun  1 17:10:22 2018T                   ID     KEY        MODE        OWNER     GROUP   CREATOR    CGROUP NSEMS   OTIME    CTIME Semaphores:s                    0 0x4f1c06da --ra-------      root      root      root      root     1 11:44:05 11:44:05s                    1 0x411c01b6 --ra-ra-ra-      root      root      root      root     1 11:44:07 11:44:05s                    2 0x4e0c0002 --ra-ra-ra-      root      root      root      root     2 11:44:07 11:44:05s                    3 0x41203bb5 --ra-ra-ra-      root      root      root      root     2 no-entry 11:44:05s                    4 0x01090522 --ra-r--r--      root      root      root      root     1 no-entry 11:44:11s                 8197 0x00a5c581 --ra-------     sfmdb     users     sfmdb     users    17 11:44:13 11:44:13s                 8198 0x00a5c582 --ra-------     sfmdb     users     sfmdb     users    17 11:44:13 11:44:13s                 8199 0x00a5c583 --ra-------     sfmdb     users     sfmdb     users    17 11:44:13 11:44:13s                 8200 0x00a5c584 --ra-------     sfmdb     users     sfmdb     users    17 11:44:13 11:44:13s                 8201 0x00a5c585 --ra-------     sfmdb     users     sfmdb     users    17 11:44:13 11:44:13s                 8202 0x00a5c586 --ra-------     sfmdb     users     sfmdb     users    17 11:44:13 11:44:13s                 8203 0x00a5c587 --ra-------     sfmdb     users     sfmdb     users    17 16:32:32 11:44:13s                   12 0x4914942f --ra-r--r--      root      root      root      root     1 11:44:32 11:44:32s                   13 0x410c030b --ra-ra-ra-      root      root      root      root     1 11:44:33 11:44:33

可以看到，因為nomount報錯：ORA-27154,ORA-27300,ORA-27301,ORA-27302，執行個體啟動不成功，所以沒有oracle使用者的任何分配。

3.4 設定processes值為14000
此時ipcs觀察到的結果：

[email protected][/oradata/orcl]ipcs -asIPC status from /dev/kmem as of Fri Jun  1 17:11:53 2018T                   ID     KEY        MODE        OWNER     GROUP   CREATOR    CGROUP NSEMS   OTIME    CTIME Semaphores:s                    0 0x4f1c06da --ra-------      root      root      root      root     1 11:44:05 11:44:05s                    1 0x411c01b6 --ra-ra-ra-      root      root      root      root     1 11:44:07 11:44:05s                    2 0x4e0c0002 --ra-ra-ra-      root      root      root      root     2 11:44:07 11:44:05s                    3 0x41203bb5 --ra-ra-ra-      root      root      root      root     2 no-entry 11:44:05s                    4 0x01090522 --ra-r--r--      root      root      root      root     1 no-entry 11:44:11s                 8197 0x00a5c581 --ra-------     sfmdb     users     sfmdb     users    17 11:44:13 11:44:13s                 8198 0x00a5c582 --ra-------     sfmdb     users     sfmdb     users    17 11:44:13 11:44:13s                 8199 0x00a5c583 --ra-------     sfmdb     users     sfmdb     users    17 11:44:13 11:44:13s                 8200 0x00a5c584 --ra-------     sfmdb     users     sfmdb     users    17 11:44:13 11:44:13s                 8201 0x00a5c585 --ra-------     sfmdb     users     sfmdb     users    17 11:44:13 11:44:13s                 8202 0x00a5c586 --ra-------     sfmdb     users     sfmdb     users    17 11:44:13 11:44:13s                 8203 0x00a5c587 --ra-------     sfmdb     users     sfmdb     users    17 16:32:32 11:44:13s                   12 0x4914942f --ra-r--r--      root      root      root      root     1 11:44:32 11:44:32s                   13 0x410c030b --ra-ra-ra-      root      root      root      root     1 11:44:33 11:44:33s               294926 0x5c23a1bc --ra-r-----    oracle       dba    oracle       dba  1750 no-entry 17:10:55s                65551 0x5c23a1bd --ra-r-----    oracle       dba    oracle       dba  1750 no-entry 17:10:55s                65552 0x5c23a1be --ra-r-----    oracle       dba    oracle       dba  1750 no-entry 17:10:55s                65553 0x5c23a1bf --ra-r-----    oracle       dba    oracle       dba  1750 no-entry 17:10:55s                24594 0x5c23a1c0 --ra-r-----    oracle       dba    oracle       dba  1750 no-entry 17:10:55s                 8211 0x5c23a1c1 --ra-r-----    oracle       dba    oracle       dba  1750 no-entry 17:10:55s                 8212 0x5c23a1c2 --ra-r-----    oracle       dba    oracle       dba  1750 no-entry 17:10:55s                 8213 0x5c23a1c3 --ra-r-----    oracle       dba    oracle       dba  1750 no-entry 17:10:55s                   22 0x5c23a1c4 --ra-r-----    oracle       dba    oracle       dba  1750 no-entry 17:10:55

可以看到，NSEMS值為1750，一共9組，此時可以滿足14000的processes。

總結：通過這個案例，可以知道ipcs看的那個訊號量和process之間有直接的關聯。諮詢我司專家，這之間還存在某種演算法，但從HPUX的實驗來看，並不是都符合推測的演算法規則，就不再深究。

HP-UX平台Oracle啟動執行個體遭遇：ORA-27154,ORA-27300,ORA-27301,ORA-27302