因Window伺服器自動更新並重啟導致WebSphere服務故障一例

標籤：

最近公司購買了兩台Windows Server 2008 R2伺服器用於提供提供Web服務，A機器安裝了IHS+DM+WAS8.5叢集，B機器安裝了Oracle11gR2用於資料存放區，兩台機器均可串連互連網。

服務部署頭天晚上部署，測試沒有任何問題，早上使用者打電話反饋無法正常訪問網站，遠程登入後發現IHS+DM服務正常，但是叢集沒有啟動，查看工作管理員發現沒有nodeagent和叢集中server的進程，手動啟動nodeagent後啟動叢集，兩個Server正常啟動，隨後正常提供服務。當時懷疑伺服器是否重新啟動導致服務異常，也懷疑是程式的問題，但手頭事情比較多就沒有持續跟進；可是同樣的事情在第二天又發生了，早上一起來就探索服務無法訪問。這次不能無視了。。。收集了相關日誌後，手動啟動nodeagent和叢集並提供服務後就開始進行問題排查。

1、檢查WebSphere Server日誌

檢查了叢集各幾點Server的SystemOut.log日誌，發現在3點15分突然爆出如下日誌：

[16-3-22 3:15:16:482 CST] 0000004e Peer          I   ODCF8534I: 已除去鄰居 ip=192.168.1.8 udp=11011 tcp=11012 ID=a0afd7f939ef4c971fe6825780126b1741b2f9ff version=0;cellName=WIN-RU03CB21QGACell01;bridgedCells=[];structuredGateway=false;properties={inOdc=1, epoch=1458522523691, MEMBER_STARTUP_TIME=1458522519269, memberName=WIN-RU03CB21QGACell01\WIN-RU03CB21QGANode01\AppSrv02, MEMBER_VERSION=4}，鄰居集現在為 2 nodes0  ip=192.168.1.8 udp=11008 tcp=11007 ID=f271d5e15b5f3696eb6b30d9ef41532f9c5a81e8 version=0;cellName=WIN-RU03CB21QGACell01;bridgedCells=[];structuredGateway=true;properties={inOdc=1, epoch=1458522483936, MEMBER_STARTUP_TIME=1458522480920, memberName=WIN-RU03CB21QGACell01\WIN-RU03CB21QGANode01\nodeagent, MEMBER_VERSION=4}1  ip=192.168.1.8 udp=11005 tcp=11006 ID=63a7efddbd567d67083efb4fc6a7727dd79c4c32 version=0;cellName=WIN-RU03CB21QGACell01;bridgedCells=[];structuredGateway=true;properties={inOdc=1, MEMBER_VERSION=4, epoch=1458503412906, ODC_PUBLISHER_ONLY=false, MEMBER_STARTUP_TIME=1458503408859, memberName=WIN-RU03CB21QGACell01\WIN-RU03CB21QGACellManager01\dmgr}。

其餘幾行無關緊要的資訊輸出後就一片沉寂了。

2、檢查WebSphere DM日誌

檢查DM SystemOut.log日誌發現DM在晚上3點15分左右輸出服務停止和啟動的日誌，但停止和啟動原因不明。

3、檢查WebSphere FFDC日誌

通過對dmgr的ffdc目錄中的記錄檔按照日期進行排序，發現3月22日有兩個記錄檔；

dmgr_exception.log.1458587814531.txt

dmgr_25be7f2a_16.03.22_03.16.54.5782445606813376690951.txt

發現如下輸出：

[16-3-22 3:16:54:578 CST]     FFDC Exception:java.io.IOException SourceId:com.ibm.ws.management.discovery.DiscoveryService.sendQuery ProbeId:189 Reporter:[email protected]java.io.IOException: ADMD0004E: 無法開啟 TCP 通訊端：WIN-RU03CB21QGA:7272。請檢查遠程進程是否已開啟連接埠。

“無法開啟TCP通訊端”是不是網路的問題，那麼網路出現什麼問題呢？斷網也不至於讓服務重啟啊？是不是作業系統本身在做什麼操作呢？那就根據時間點查看一下作業系統的日誌吧。

4、檢查Windows事件檢視器中的日誌

點擊“開始--》管理工具--》事件檢視器”，在Windows日誌節點下點擊“系統”，在右側的事件列表中按照時間點3.15左右進行事件的過濾，最終找到了問題所在；

原來雲端服務供應商的這台作業系統設定在淩晨三點進行系統更新，系統更新後自動進行系統重啟。

IHS+DM在Windows平台下預設以服務形式啟動，能夠跟隨作業系統啟動，而nodeagent不是服務，不能隨作業系統啟動而啟動，這就導致了服務無法正常啟動的原因。

因Window伺服器自動更新並重啟導致WebSphere服務故障一例