JBoss DataGrid的叢集部署與訪問

叢集部署

JDG的緩衝模式包括本地（Local）模式和叢集（Clustered）模式。本項目採用多節點的Clustered模式部署，資料在多個節點的子集間進行複製，而不是同步複製到所有的節點。使用子集複製可以提升容錯的效率但對延展性不會造成太大影響。在使用Clustered模式部署之前，應該配置JGroup。

1.       使用UDP方式廣播。

l  適用於大的叢集（超過100節點）；

l  適用於Invalidation和Replication模式；

l  提高socket通訊的效率。

2.       使用TCP方式廣播。

更適合於distribution模式的小規模（少於100節點）的叢集，這時因為TCP協議在點對點通訊中更加高效。

Clustered模式又分為Invalidation、Replication和Distribution模式。

Distribution模式

JDG的Distribution模式可以儲存快取資料在叢集的子集節點，而不是儲存資料到每一個節點中。通常儲存到多於1個節點來提供資料冗餘和容錯。

Distribution模式使用一致性Hash演算法從叢集中選擇儲存資料的節點，一致性Hash演算法配置為一個快取資料儲存到多個副本。副本數的設定需要平衡效能和容錯，過多的副本會影響效能而過少的副本會造成節點失效時遺失資料。

在Distribution模式中，一個put操作會執行num_copies次遠程調用，同樣在任意節點的get操作會執行至少一次的遠程調用。實際上，get操作甚至也會執行num_copies次遠程調用，但它們是並行的，只要有一個返回，結果就會被返回給調用者。

讀一致性

由於get操作是並行從多個節點取數並使用第一個返回的結果，在使用非同步方式時可能會導致資料的不一致。注意這種情況只會出現在非同步呼叫方式，如果是同步方式，則不會出現讀不一致。

配置緩衝容器和緩衝

JDG的Cache在使用時，必須在standalone/configuration/clustered.xml設定檔中設定要使用的Cache配置。如果用戶端訪問了未配置命名的Cache，將視為非法操作。

在<subsystemxmlns="urn:infinispan:server:core:5.2"default-cache-container="clustered"> …… </subsystem>中配置cache-container和distributed-cache，本項目使用分布式緩衝模式。

節點<cache-containername="clustered" default-cache="default">中增加對Cache的配置節點，如下面的名稱為default的cache（預設緩衝配置）：

<cache-container name="clustered" default-cache="default">     <transport executor="infinispan-transport" lock-timeout="60000"/> <distributed-cache name="default" mode="SYNC" segments="20" owners="2" remote-timeout="30000" start="EAGER">          <locking isolation="READ_COMMITTED" acquire-timeout="30000" concurrency-level="1000" striping="false"/>          <transaction mode="NONE"/> </distributed-cache> </cache-container>

 

以上的設定項目並非所有的都是必須，各節點說明見下：

#定義緩衝預設的到期策略

#lifespan: 緩衝條目最大的存留時間，單位毫秒，-1表示從不到期。

# max-idle: 緩衝條目的最大空閑時間，單位毫秒，-1表示從不到期。如果空閑時間超過該值，條目將被視為到期。

#interval: 從緩衝中清除到期條目的執行間隔時間（毫秒）。如果要完全禁用定期回收任務，設定為-1。

<expirationlifespan=”2000” max-idle=”1000”/>

#定義緩衝預設的回收策略

#eviction: 指定回收策略。可用的回收策略包括UNORDERED,FIFO,LIRS和NONE(禁用回收策略)。

#max-entries: 指定Cache執行個體中的最大條目數量，-1表示不限制。實際取值為>=選定值的2的冪的最小值

<evictionstrategy="LRU" max-entries="10000"/>

#定義緩衝鎖

#isolation: 定義隔離等級。可用的隔離等級包括NONE,READ_UNCOMMITED,READ_COMMITED,REPEATABLE_READ,SERIALIZABLE,預設REPEATABLE_READ

#striping: 鎖條帶化。如果為true，使用共用鎖定池來維護所有需要鎖定的條目。否則，為每個條目建立一個鎖。鎖條帶化有助於控制記憶體佔用，但可能會降低系統的並發能力。

#acquire-timeout: 嘗試擷取一個特定鎖的最大逾時時間。

#concurrency-level: 鎖容器的並發層級。根據和infinispan並發互動的線程數量來調整這個值。

#concurrent-updates: 僅用於非事務緩衝。如果設定為true(預設值)，則緩衝在並發更新時保持資料的一致性。對於叢集模式將帶來額外的RPC成本，如果你的應用不會並發寫資料，禁用該標誌以提升效能。

<lockingisolation="READ_COMMITTED" acquire-timeout="30000"concurrency-level="1000" striping="false"/>

#定義緩衝事務

#雖然可以定義伺服器緩衝支援事務，但目前沒有可用的協議來支援事務能力。

<transactionmode="NONE"/>

啟動JDG叢集

可以把JDG部署在多個節點構成一個叢集，目前我們的項目使用的是資料快取服務使用預設3個節點的分布式叢集。在啟動時各個節點的nodeName必須予以區分，例如分別命名為nodeA、nodeB和nodeC。

JDG是運行在JBoss容器中的，在啟動時即啟動了JBoss，如果伺服器已經運行了JBOSS，請在啟動時設定連接埠offset，以避免衝突。

同時為了避免和JBoss伺服器的JBOSS_HOME衝突，定義環境變數JDG_HOME(例如exportJDG_HOME=/usr/local/jboss-datagrid-server-6.1.0)，並修改bin/clustered.sh中的所有JBOSS_HOME替換為JDG_HOME。

以nodeA節點為例（JDG對外訪問的連接埠為11222，下面offset後為11322），伺服器ip是192.168.1.100，執行啟動命令為：

./clustered.sh-Djboss.socket.binding.port-offset=100 -Djboss.bind.address=192.168.1.100 -Djboss.node.name=nodeA

 用戶端訪問

遠程用戶端可以使用REST, memcached或HotRod協議，我們這裡使用HotRod協議，它是一種二進位協議，效能較好，同時它提供了自動的負載平衡和failover。

設定檔

用戶端訪問快取服務端的設定檔預設命名為hotrod-client.properties。定義解釋見下。

############JDG 伺服器配置############

##請求均衡策略，default =org.infinispan.client.hotrod.impl.transport.tcp.RoundRobinBalancingStrategy

#infinispan.client.hotrod.request_balancing_strategy=

##伺服器列表，default = 127.0.0.1:11222

infinispan.client.hotrod.server_list=192.168.1.100:11322;192.168.1.101:11322;192.168.1.102:11322

##是否強迫返回值, default = false

#infinispan.client.hotrod.force_return_values=

##TCP_NO_DELAY, default = true

#infinispan.client.hotrod.tcp_no_delay=

##啟動時是否發送PING請求來擷取CLUSTER拓撲, default = true

#infinispan.client.hotrod.ping_on_startup=

##控制使用的傳輸機制，目前只支援TCP, default =org.infinispan.client.hotrod.impl.transport.tcp.TcpTransportFactory

#infinispan.client.hotrod.transport_factory=

##序列化使用的Marshaller, default =org.infinispan.marshall.jboss.GenericJBossMarshaller

##如果要降低傳輸負載，可以配置為ApacheAvroMarshaller

#infinispan.client.hotrod.marshaller=

##指定自訂的AsyncExecutorFactory, default =org.infinispan.client.hotrod.impl.async.DefaultAsyncExecutorFactory

#infinispan.client.hotrod.async_executor_factory=

##指定並發線程池大小, default = 10

#infinispan.client.hotrod.default_executor_factory.pool_size=

##指定並發隊列大小, default = 100000

#infinispan.client.hotrod.default_executor_factory.queue_size=

##Hash函數實現的版本及一致性Hash演算法，和HotRod的伺服器版本相關

#infinispan.client.hotrod.hash_function_impl.1=

##序列化和還原序列化鍵的緩衝允許位元組數，目的是避免數組大小調整, default =64

#infinispan.client.hotrod.key_size_estimate=

##序列化和還原序列化值的緩衝允許位元組數，目的是避免數組大小調整, default =512

#infinispan.client.hotrod.value_size_estimate=

##socket讀逾時, default = 60000 (60 seconds)

infinispan.client.hotrod.socket_timeout=50000

##socket連線逾時, default = 60000 (60 seconds)

infinispan.client.hotrod.connect_timeout=10000

##指定用戶端使用的協議版本, default = 1.1，其他值還有1.0

#infinispan.client.hotrod.protocol_version=

##指定錯誤時的重試次數, default = 10

#infinispan.client.hotrod.max_retries=

 

############串連池配置############

##指定每個伺服器的最大串連數，負值表示沒有限制，預設-1

maxActive=100

##指定伺服器組內允許的全域持久串連的數量，負值表示沒有限制，預設-1

maxTotal=100

##指定每個伺服器空閑持久串連的最大數，負值表示沒有限制，預設-1

maxIdle=20

##指定當串連池耗盡時，伺服器如何響應：

##0-拋出異常給調用者

##1-阻塞調用者，直到有閒置串連

##2-建立一個新的串連（不受maxActive的限制）

##預設值是1

#whenExhaustedAction=1

##檢查空閑串連的Eviction線程每次運行間隔的時間，預設是2分鐘

#timeBetweenEvictionRunsMillis=120000

##在空閑池中的串連存在多長時間需要被銷毀，負值表示沒有空閑串連被銷毀，預設值為30分鐘

#minEvictableIdleTimeMillis=1800000

##指定在Eviction線程執行時，閒置串連是否通過發送一個TCP資料包到伺服器來驗證，

##即無法驗證的串連將從池中被清除

##預設值為true

#testWhileIdle=true

##指定每個伺服器最小的可用串連的空閑線程數。預設值為1

#minIdle=1用戶端存取碼

import java.net.URL; import java.util.Map;   import org.infinispan.client.hotrod.RemoteCache; import org.infinispan.client.hotrod.RemoteCacheManager; import org.infinispan.client.hotrod.ServerStatistics;     public class Quickstart {    public static void main(String[] args) {     URL resource = Thread.currentThread().getContextClassLoader()                                      .getResource("hotrod-client.properties");   RemoteCacheManager cacheContainer = new RemoteCacheManager(resource, true);     //獲得一個遠端Cache   RemoteCache cache = cacheContainer.getCache("myCache");     //put資料到緩衝中，然後確認是否存在   cache.put("name", "paul");   if(cache.get("name").equals("paul")){    System.out.println("Cache Hit!");   } else {    System.out.println("Cache Miss!");   }     //刪除快取資料   cache.remove("name");     cacheContainer.stop();  } }