訊息佇列mq的原理及實現方法，訊息佇列mq原理

訊息佇列mq的原理及實現方法，訊息佇列mq原理

訊息佇列技術是分布式應用間交換資訊的一種技術。訊息佇列可駐留在記憶體或磁碟上,佇列儲存體訊息直到它們被應用程式讀走。通過訊息佇列，應用程式可獨立地執行--它們不需要知道彼此的位置、或在繼續執行前不需要等待接收程式接收此訊息。

 

訊息中介軟體概述

訊息佇列技術是分布式應用間交換資訊的一種技術。訊息佇列可駐留在記憶體或磁碟上,佇列儲存體訊息直到它們被應用程式讀走。通過訊息佇列，應用程式可獨立地執行--它們不需要知道彼此的位置、或在繼續執行前不需要等待接收程式接收此訊息。

 

在分散式運算環境中，為了整合分布式應用，開發人員需要對異構網路環境下的分布式應用提供有效通訊手段。為了管理需要共用的資訊，對應用提供公用的資訊交換器制是重要的。

 

設計分布式應用的方法主要有：遠端程序呼叫(PRC)--分散式運算環境(DCE)的基礎標準成分之一；對象事務監控(OTM)--基於CORBA的物件導向工業標準與交易處理(TP)監控技術的組合；訊息佇列(MessageQueue)--構造分布式應用的松耦合方法。

 

 

(a) 分布計算環境/遠端程序呼叫(DCE/RPC)

RPC是DCE的成分，是一個由開放軟體基金會(OSF)發布的應用整合的軟體標準。RPC模仿一個程式用函數引用來引用另一程式的傳統程式設計方法，此引用是程序呼叫的形式，一旦被調用，程式的控制則轉向被調用程式。

 

在RPC實現時，被調用過程可在本地或遠地的另一系統中駐留並在執行。當被調用程式完成處理輸入資料，結果放在程序呼叫的返回變數中返回到調用程式。RPC完成後程式控制則立即返回到調用程式。因此RPC模仿子程式的調用/返回結構，它僅提供了Client(調用程式)和Server(被調用過程)間的同步資料交換。

 

 

(b) 對象事務監控 (OTM)

基於CORBA的物件導向工業標準與交易處理(TP)監控技術的組合，在CORBA規範中定義了：使用物件導向技術和方法的體繫結構；公用的Client/Server程式設計介面；多平台間傳輸和翻譯資料的指導方針；開發分布式應用介面的語言(IDL)等，並為構造分布的Client/Server應用提供了廣泛及一致的模式。

 

 

(c) 訊息佇列 (Message Queue)

訊息佇列為構造以同步或非同步方式實現的分布式應用提供了松耦合方法。訊息佇列的API調用被嵌入到新的或現存的應用中，通過訊息發送到記憶體或基於磁碟的隊列或從它讀出而提供資訊交換。訊息佇列可用在應用中以執行多種功能，比如要求服務、交換資訊或非同步處理等。

 

中介軟體是一種獨立的系統軟體或服務程式，分布式應用系統藉助這種軟體在不同的技術之間共用資源，管理計算資源和網路通訊。它在電腦系統中是一個關鍵軟體，它能實現應用的互連和互通性，能保證系統的安全、可靠、高效的運行。中介軟體位於使用者應用和作業系統及網路軟體之間，它為應用提供了公用的通訊手段，並且獨立於網路和作業系統。中介軟體為開發人員提供了公用於所有環境的應用程式介面，當應用程式中嵌入其函數調用，它便可利用其啟動並執行特定作業系統和網路環境的功能，為應用執行通訊功能。

 

如果沒有訊息中介軟體完成資訊交換，應用開發人員為了傳輸資料，必須要學會如何用網路和作業系統軟體的功能，編寫相應的應用程式來發送和接收資訊，且交換資訊沒有標準方法，每個應用必須進行特定的編程從而和多平台、不同環境下的一個或多個應用通訊。例如，為了實現網路上不同主機系統間的通訊，將要求具備在網路上如何交換資訊的知識（比如用TCP/IP的socket程式設計）；為了實現同一主機內不同進程之間的通訊，將要求具備作業系統的訊息佇列或具名管道(Pipes)等知識。

 

目前中介軟體的種類很多，如交易管理中介軟體(如IBM的CICS)、面向Java應用的Web應用伺服器中介軟體(如IBM的WebSphereApplicationServer)等，而訊息傳輸中介軟體(MOM)是其中的一種。它簡化了應用之間資料的傳輸，屏蔽底層異構作業系統和網路平台，提供一致的通訊標準和應用開發，確保分散式運算網路環境下可靠的、跨平台的資訊傳輸和資料交換。它基於訊息佇列的儲存-轉寄機制，並提供特有的非同步傳輸機制，能夠基於訊息傳輸和非同步交易處理實現應用整合與資料交換。

 

IBM訊息中介軟體MQ以其獨特的安全機制、簡便快速的編程風格、卓越不凡的穩定性、可擴充性和跨平台性，以及強大的交易處理能力和訊息通訊能力，成為業界市場佔有率最高的訊息中介軟體產品。

 

MQ具有強大的跨平台性，它支援的平台數多達35種。它支援各種主流Unix作業系統平台,如：HP-UX、AIX、SUNSolaris、Digital UNIX、Open VMX、SUNOS、NCRUNIX；支援各種主機平台，如：OS/390、MVS/ESA、VSE/ESA；同樣支援WindowsNT伺服器。在PC平台上支援Windows9X/Windows NT/Windows 2000和UNIX(UnixWare、Solaris)以及主要的Linux版本(Redhat、TurboLinux等)。此外，MQ還支援其他各種作業系統平台，如：OS/2、AS/400、SequentDYNIX、SCO OpenServer、SCO UnixWare、Tandem等。

 

 

MQ的基本概念：

 

 

 

1) 隊列管理器

隊列管理器是MQ系統中最上層的一個概念，由它為我們提供基於隊列的Message Service。

 

2) 訊息

在MQ中，我們把應用程式交由MQ傳輸的資料定義為訊息，我們可以定義訊息的內容並對訊息進行廣義的理解，比如：使用者的各種類型的資料檔案，某個應用向其它應用發出的處理請求等都可以作為訊息。訊息有兩部分組成：

 

訊息描述符(Message Discription或MessageHeader)，描述訊息的特徵，如：訊息的優先順序、生命週期、訊息Id等；

 

訊息體(MessageBody)，即使用者資料部分。在MQ中，訊息分為兩種類型，非永久性(non-persistent)訊息和永久性(persistent)訊息，非永久性訊息是儲存在記憶體中的，它是為了提高效能而設計的，當系統掉電或MQ隊列管理器重新啟動時，將不可恢複。當使用者對訊息的可靠性要求不高，而側重系統的效能表現時，可以採用該種類型的訊息，如：當發布股票資訊時，由於股票資訊是不斷更新的，我們可能每若干秒就會發布一次，新的訊息會不斷覆蓋舊的訊息。永久性訊息是儲存在硬碟上，並且紀錄資料日誌的，它具有高可靠性，在網路和系統發生故障等情況下都能確保訊息不丟、不重。

 

此外，在MQ中，還有邏輯訊息和物理訊息的概念。利用邏輯訊息和物理訊息，我們可以將大訊息進行分段處理，也可以將若干個本身完整的訊息在應用邏輯上歸為一組進行處理。

 

 

3) 隊列

隊列是訊息的安全存放地，佇列儲存體訊息直到它被應用程式處理。

 

訊息佇列以下述方式工作：

 

a)      程式A形成對訊息佇列系統的調用，此調用告知訊息佇列系統，訊息準備好了投向程式B；

 

b) 訊息佇列系統發送此訊息到程式B駐留處的系統，並將它放到程式B的隊列中；

 

c) 適當時間後，程式B從它的隊列中讀此訊息，並處理此資訊。

 

由於採用了先進的程式設計思想以及內部工作機制，MQ能夠在各種網路條件下保證訊息的可靠傳遞，可以克服網路線路品質差或不穩定的現狀，在傳輸過程中，如果通訊線路出現故障或遠端的主機發生故障，本地的應用程式都不會受到影響，可以繼續發送資料，而無需等待網路故障恢複或遠端主機正常後再重新運行。

 

在MQ中，隊列分為很多種類型，其中包括：本地隊列、遠程隊列、模板隊列、動態隊列、別名隊列等。

 

本地隊列又分為普通本地隊列和傳輸隊列，普通本地隊列是應用程式通過API對其進行讀寫操作的隊列；傳輸隊列可以理解為儲存-轉寄隊列，比如：我們將某個訊息交給MQ系統發送到遠程主機，而此時網路發生故障，MQ將把訊息放在傳輸隊列中暫存，當網路恢複時，再發往遠端目的地。

 

遠程隊列是目的隊列在本地的定義，它類似一個地址指標，指向遠程主機上的某個目的隊列，它僅僅是個定義，不真正佔用磁碟儲存空間。

 

模板隊列和動態隊列是MQ的一個特色，它的一個典型用途是用作系統的可擴充性考慮。我們可以建立一個模板隊列，當今後需要新增隊列時，每開啟一個模板隊列，MQ便會自動產生一個動態隊列，我們還可以指定該動態隊列為暫存佇列或者是永久隊列，若為暫存佇列我們可以在關閉它的同時將它刪除，相反，若為永久隊列，我們可以將它持續保留，為我所用。

 

 

4) 通道

 

通道是MQ系統中隊列管理器之間傳遞訊息的管道，它是建立在物理的網路連接之上的一個邏輯概念，也是MQ產品的精華。

 

在MQ中，主要有三大類通道類型，即訊息通道，MQI通道和Cluster通道。訊息通道是用於在MQ的伺服器和伺服器之間傳輸訊息的，需要強調指出的是，該通道是單向的，它又有發送(sender),接收(receive), 要求者(requestor), 服務者(server)等不同類型，供使用者在不同情況下使用。MQI通道是MQClient和

 

MQI通道是MQ Client和MQServer之間通訊和傳輸訊息用的，與訊息通道不同，它的傳輸是雙向的。群集(Cluster)通道是位於同一個MQ群集內部的隊列管理器之間通訊使用的。
 

MQ的工作原理(圖見附件)

 

首先來看本地通訊的情況，應用程式A和應用程式B運行於同一系統A，它們之間可以藉助訊息佇列技術進行彼此的通訊：應用程式A向隊列1發送一條資訊，而當應用程式B需要時就可以得到該資訊。

其次是遠程通訊的情況，如果資訊傳輸的目標改為在系統B上的應用程式C，這種變化不會對應用程式A產生影響，應用程式A向隊列2發送一條資訊，系統A的MQ發現Q2所指向的目的隊列實際上位於系統B，它將資訊放到本地的一個特殊隊列－傳輸隊列(TransmissionQueue)。我們建立一條從系統A到系統B的訊息通道，訊息通道代理將從傳輸隊列中讀取訊息，並傳遞這條資訊到系統B，然後等待確認。只有MQ接到系統B成功收到資訊的確認之後，它才從傳輸隊列中真正將該資訊刪除。如果通訊線路不通，或系統B不在運行，資訊會留在傳輸隊列中，直到被成功地傳送到目的地。這是MQ最基本而最重要的技術--確保資訊傳輸，並且是一次且僅一次(once-and-only-once)的傳遞。

MQ提供了用於應用整合的松耦合的串連方法，因為共用資訊的應用不需要知道彼此物理位置（網路地址）；不需要知道彼此間怎樣建立通訊；不需要同時處於運行狀態；不需要在同樣的作業系統或網路環境下運行。

MQ的基本配置舉例


在中，要實現網路上兩台主機上的通訊，若採用點對點的通訊方式，我們至少要建立如下MQ的對象：

在發送方A:

1） 建立隊列管理器QMA: crtmqm -q QMA

2） 定義本地傳輸隊列: define qlocal (QMB) usage (xmitq) defpsist(yes)

3） 建立遠程隊列: define qremote (QR.TOB) rname (LQB) rqmname (QMB) xmitq(QMB)

4） 定義發送通道: define channel (A.TO.B) chltype (sdr) conname ('IP ofB') xmitq (QMB) + trptype (tcp)

在接收方B：

1） 建立隊列管理器QMB: crtmqm -q QMB

2） 定義本地隊列QLB: define qlocal (LQB)

3） 建立接收通道: define channel (A.TO.B) chltype (rcvr) trptype(tcp)

經過上述配置，我們就可以實現從主機A到B的單向通訊，若要實現二者之間的雙向通訊，可參考此例建立所需要的MQ對象。

MQ的通訊模式


1)點對點通訊：點對點方式是最為傳統和常見的通訊方式，它支援一對一、一對多、多對多、多對一等多種配置方式，支援樹狀、網狀等多種拓撲結構。

2)多點廣播：MQ適用於不同類型的應用。其中重要的，也是正在發展中的是"多點廣播"應用，即能夠將訊息發送到多個目標網站(DestinationList)。可以使用一條MQ指令將單一訊息發送到多個目標網站，並確保為每一網站可靠地提供資訊。MQ不僅提供了多點廣播的功能，而且還擁有智能訊息分發功能，在將一條訊息發送到同一系統上的多個使用者時，MQ將訊息的一個複製版本和該系統上接收者的名單發送到目標MQ系統。目標MQ系統在本地複製這些訊息，並將它們發送到名單上的隊列，從而儘可能減少網路的傳輸量。

3)發布/訂閱(Publish/Subscribe)模式：發布/訂閱功能使訊息的分發可以突破目的隊列地理指向的限制，使訊息按照特定的主題甚至內容進行分發，使用者或應用程式可以根據主題或內容接收到所需要的訊息。發布/訂閱功能使得寄件者和接收者之間的耦合關係變得更為鬆散，寄件者不必關心接收者的目的地址，而接收者也不必關心訊息的發送地址，而只是根據訊息的主題進行訊息的收發。在MQ家族產品中，MQEventBroker是專門用於使用發布/訂閱技術進行資料通訊的產品，它支援基於隊列和直接基於TCP/IP兩種方式的發布和訂閱。

4)群集(Cluster)：為了簡化點對點通訊模式中的系統配置，MQ提供Cluster(群集)的解決方案。群集類似於一個域(Domain)，群集內部的隊列管理器之間通訊時，不需要兩兩之間建立訊息通道，而是採用群集(Cluster)通道與其它成員通訊，從而大大簡化了系統配置。此外，群集中的隊列管理器之間能夠自動進行負載平衡，當某一隊列管理器出現故障時，其它隊列管理器可以接管它的工作，從而大大提高系統的高可靠性。

歡迎訪問我們的技術交流群：650385180