【轉】Spring, MyBatis 多資料來源的配置和管理

標籤：檔案中   ntc   簡單   amp   實現   剖析   head   res   tor   

同一個項目有時會涉及到多個資料庫，也就是多資料來源。多資料來源又可以分為兩種情況：

1）兩個或多個資料庫沒有相關性，各自獨立，其實這種可以作為兩個項目來開發。比如在遊戲開發中一個資料庫是平台資料庫，其它還有平台下的遊戲對應的資料庫；

2）兩個或多個資料庫是master-slave的關係，比如有mysql搭建一個 master-master，其後又帶有多個slave；或者採用MHA搭建的master-slave複製；

目前我所知道的 Spring 多資料來源的搭建大概有兩種方式，可以根據多資料來源的情況進行選擇。

1. 採用spring設定檔直接配置多個資料來源

比如針對兩個資料庫沒有相關性的情況，可以採用直接在spring的設定檔中配置多個資料來源，然後分別進行事務的配置，如下所示：

    <context:component-scan base-package="net.aazj.service,net.aazj.aop" />    <context:component-scan base-package="net.aazj.aop" />    <!-- 引入屬性檔案 -->    <context:property-placeholder location="classpath:config/db.properties" />    <!-- 配置資料來源 -->    <bean name="dataSource" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close">        <property name="url" value="${jdbc_url}" />        <property name="username" value="${jdbc_username}" />        <property name="password" value="${jdbc_password}" />        <!-- 初始化串連大小 -->        <property name="initialSize" value="0" />        <!-- 串連池最大使用串連數量 -->        <property name="maxActive" value="20" />        <!-- 串連池最大空閑 -->        <property name="maxIdle" value="20" />        <!-- 串連池最小空閑 -->        <property name="minIdle" value="0" />        <!-- 擷取串連最大等待時間 -->        <property name="maxWait" value="60000" />    </bean>        <bean id="sqlSessionFactory" class="org.mybatis.spring.SqlSessionFactoryBean">      <property name="dataSource" ref="dataSource" />      <property name="configLocation" value="classpath:config/mybatis-config.xml" />      <property name="mapperLocations" value="classpath*:config/mappers/**/*.xml" />    </bean>        <!-- Transaction manager for a single JDBC DataSource -->    <bean id="transactionManager" class="org.springframework.jdbc.datasource.DataSourceTransactionManager">        <property name="dataSource" ref="dataSource" />    </bean>        <!-- 使用annotation定義事務 -->    <tx:annotation-driven transaction-manager="transactionManager" />         <bean class="org.mybatis.spring.mapper.MapperScannerConfigurer">      <property name="basePackage" value="net.aazj.mapper" />      <property name="sqlSessionFactoryBeanName" value="sqlSessionFactory"/>    </bean>
    <!-- Enables the use of the @AspectJ style of Spring AOP -->    <aop:aspectj-autoproxy/>        <!-- ===============第二個資料來源的配置=============== -->    <bean name="dataSource_2" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close">        <property name="url" value="${jdbc_url_2}" />        <property name="username" value="${jdbc_username_2}" />        <property name="password" value="${jdbc_password_2}" />        <!-- 初始化串連大小 -->        <property name="initialSize" value="0" />        <!-- 串連池最大使用串連數量 -->        <property name="maxActive" value="20" />        <!-- 串連池最大空閑 -->        <property name="maxIdle" value="20" />        <!-- 串連池最小空閑 -->        <property name="minIdle" value="0" />        <!-- 擷取串連最大等待時間 -->        <property name="maxWait" value="60000" />    </bean>        <bean id="sqlSessionFactory_slave" class="org.mybatis.spring.SqlSessionFactoryBean">      <property name="dataSource" ref="dataSource_2" />      <property name="configLocation" value="classpath:config/mybatis-config-2.xml" />      <property name="mapperLocations" value="classpath*:config/mappers2/**/*.xml" />    </bean>        <!-- Transaction manager for a single JDBC DataSource -->    <bean id="transactionManager_2" class="org.springframework.jdbc.datasource.DataSourceTransactionManager">        <property name="dataSource" ref="dataSource_2" />    </bean>        <!-- 使用annotation定義事務 -->    <tx:annotation-driven transaction-manager="transactionManager_2" />         <bean class="org.mybatis.spring.mapper.MapperScannerConfigurer">      <property name="basePackage" value="net.aazj.mapper2" />      <property name="sqlSessionFactoryBeanName" value="sqlSessionFactory_2"/>    </bean>

如上所示，我們分別配置了兩個 dataSource，兩個sqlSessionFactory，兩個transactionManager，以及關鍵的地方在於MapperScannerConfigurer 的配置——使用sqlSessionFactoryBeanName屬性，注入不同的sqlSessionFactory的名稱，這樣的話，就為不同的資料庫對應的 mapper 介面注入了對應的 sqlSessionFactory。

需要注意的是，多個資料庫的這種配置是不支援分散式交易的，也就是同一個事務中，不能操作多個資料庫。這種配置方式的優點是很簡單，但是卻不靈活。對於master-slave類型的多資料來源配置而言不太適應，master-slave性的多資料來源的配置，需要特別靈活，需要根據業務的類型進行細緻的配置。比如對於一些耗時特別大的select語句，我們希望放到slave上執行，而對於update,delete等操作肯定是只能在master上執行的，另外對於一些即時性要求很高的select語句，我們也可能需要放到master上執行——比如一個情境是我去商城購買一件兵器，購買操作的很定是master，同時購買完成之後，需要重新查詢出我所擁有的兵器和金幣，那麼這個查詢可能也需要防止master上執行，而不能放在slave上去執行，因為slave上可能存在延時，我們可不希望玩家發現購買成功之後，在背包中卻找不到兵器的情況出現。

所以對於master-slave類型的多資料來源的配置，需要根據業務來進行靈活的配置，哪些select可以放到slave上，哪些select不能放到slave上。所以上面的那種所資料來源的配置就不太適應了。

2. 基於 AbstractRoutingDataSource 和 AOP 的多資料來源的配置

基本原理是，我們自己定義一個DataSource類ThreadLocalRountingDataSource，來繼承AbstractRoutingDataSource，然後在設定檔中向ThreadLocalRountingDataSource注入 master 和 slave 的資料來源，然後通過 AOP 來靈活配置，在哪些地方選擇  master 資料來源，在哪些地方需要選擇 slave資料來源。下面看代碼實現：

1）先定義一個enum來表示不同的資料來源：

package net.aazj.enums;/** * 資料來源的類別：master/slave */public enum DataSources {    MASTER, SLAVE}

2）通過 TheadLocal 來儲存每個線程選擇哪個資料來源的標誌(key)：

package net.aazj.util;import net.aazj.enums.DataSources;public class DataSourceTypeManager {    private static final ThreadLocal<DataSources> dataSourceTypes = new ThreadLocal<DataSources>(){        @Override        protected DataSources initialValue(){            return DataSources.MASTER;        }    };        public static DataSources get(){        return dataSourceTypes.get();    }        public static void set(DataSources dataSourceType){        dataSourceTypes.set(dataSourceType);    }        public static void reset(){        dataSourceTypes.set(DataSources.MASTER0);    }}

3）定義 ThreadLocalRountingDataSource，繼承AbstractRoutingDataSource：

package net.aazj.util;import org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource;public class ThreadLocalRountingDataSource extends AbstractRoutingDataSource {    @Override    protected Object determineCurrentLookupKey() {        return DataSourceTypeManager.get();    }}

4）在設定檔中向 ThreadLocalRountingDataSource 注入 master 和 slave 的資料來源：

    <context:component-scan base-package="net.aazj.service,net.aazj.aop" />    <context:component-scan base-package="net.aazj.aop" />    <!-- 引入屬性檔案 -->    <context:property-placeholder location="classpath:config/db.properties" />        <!-- 配置資料來源Master -->    <bean name="dataSourceMaster" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close">        <property name="url" value="${jdbc_url}" />        <property name="username" value="${jdbc_username}" />        <property name="password" value="${jdbc_password}" />        <!-- 初始化串連大小 -->        <property name="initialSize" value="0" />        <!-- 串連池最大使用串連數量 -->        <property name="maxActive" value="20" />        <!-- 串連池最大空閑 -->        <property name="maxIdle" value="20" />        <!-- 串連池最小空閑 -->        <property name="minIdle" value="0" />        <!-- 擷取串連最大等待時間 -->        <property name="maxWait" value="60000" />    </bean>        <!-- 配置資料來源Slave -->    <bean name="dataSourceSlave" class="com.alibaba.druid.pool.DruidDataSource" init-method="init" destroy-method="close">        <property name="url" value="${jdbc_url_slave}" />        <property name="username" value="${jdbc_username_slave}" />        <property name="password" value="${jdbc_password_slave}" />        <!-- 初始化串連大小 -->        <property name="initialSize" value="0" />        <!-- 串連池最大使用串連數量 -->        <property name="maxActive" value="20" />        <!-- 串連池最大空閑 -->        <property name="maxIdle" value="20" />        <!-- 串連池最小空閑 -->        <property name="minIdle" value="0" />        <!-- 擷取串連最大等待時間 -->        <property name="maxWait" value="60000" />    </bean>        <bean id="dataSource" class="net.aazj.util.ThreadLocalRountingDataSource">        <property name="defaultTargetDataSource" ref="dataSourceMaster" />        <property name="targetDataSources">            <map key-type="net.aazj.enums.DataSources">                <entry key="MASTER" value-ref="dataSourceMaster"/>                <entry key="SLAVE" value-ref="dataSourceSlave"/>                <!-- 這裡還可以加多個dataSource -->            </map>        </property>    </bean>        <bean id="sqlSessionFactory" class="org.mybatis.spring.SqlSessionFactoryBean">      <property name="dataSource" ref="dataSource" />      <property name="configLocation" value="classpath:config/mybatis-config.xml" />      <property name="mapperLocations" value="classpath*:config/mappers/**/*.xml" />    </bean>        <!-- Transaction manager for a single JDBC DataSource -->    <bean id="transactionManager" class="org.springframework.jdbc.datasource.DataSourceTransactionManager">        <property name="dataSource" ref="dataSource" />    </bean>        <!-- 使用annotation定義事務 -->    <tx:annotation-driven transaction-manager="transactionManager" />     <bean class="org.mybatis.spring.mapper.MapperScannerConfigurer">      <property name="basePackage" value="net.aazj.mapper" />      <!-- <property name="sqlSessionFactoryBeanName" value="sqlSessionFactory"/> -->    </bean>        

上面spring的設定檔中，我們針對master資料庫和slave資料庫分別定義了dataSourceMaster和dataSourceSlave兩個dataSource，然後注入到<bean id="dataSource" class="net.aazj.util.ThreadLocalRountingDataSource"> 中，這樣我們的dataSource就可以來根據 key 的不同來選擇dataSourceMaster和 dataSourceSlave了。

5）使用Spring AOP 來指定 dataSource 的 key ，從而dataSource會根據key選擇 dataSourceMaster 和 dataSourceSlave：

package net.aazj.aop;import net.aazj.enums.DataSources;import net.aazj.util.DataSourceTypeManager;import org.aspectj.lang.JoinPoint;import org.aspectj.lang.annotation.Aspect;import org.aspectj.lang.annotation.Before;import org.aspectj.lang.annotation.Pointcut;import org.springframework.stereotype.Component;@Aspect    // for aop@Component // for auto scan
@Order(0)  // execute before @Transactionalpublic class DataSourceInterceptor {        @Pointcut("execution(public * net.aazj.service..*.getUser(..))")    public void dataSourceSlave(){};        @Before("dataSourceSlave()")    public void before(JoinPoint jp) {        DataSourceTypeManager.set(DataSources.SLAVE);    }
    // ... ...}

這裡我們定義了一個 Aspect 類，我們使用 @Before 來在符合 @Pointcut("execution(public * net.aazj.service..*.getUser(..))") 中的方法被調用之前，調用 DataSourceTypeManager.set(DataSources.SLAVE) 設定了 key 的類型為 DataSources.SLAVE，所以 dataSource 會根據key=DataSources.SLAVE 選擇 dataSourceSlave 這個dataSource。所以該方法對於的sql語句會在slave資料庫上執行(經網友老劉1987提醒，這裡存在多個Aspect之間的一個執行順序的問題，必須保證切換資料來源的Aspect必須在@Transactional這個Aspect之前執行，所以這裡使用了@Order(0)來保證切換資料來源先於@Transactional執行)。

我們可以不斷的擴充 DataSourceInterceptor  這個 Aspect，在中進行各種各樣的定義，來為某個service的某個方法指定合適的資料來源對應的dataSource。

這樣我們就可以使用 Spring AOP 的強大功能來，十分靈活進行配置了。

6）AbstractRoutingDataSource原理剖析

ThreadLocalRountingDataSource繼承了AbstractRoutingDataSource，實現其抽象方法protected abstract Object determineCurrentLookupKey(); 從而實現對不同資料來源的路由功能。我們從源碼入手分析下其中原理：

public abstract class AbstractRoutingDataSource extends AbstractDataSource implements InitializingBean

AbstractRoutingDataSource 實現了 InitializingBean 那麼spring在初始化該bean時，會調用InitializingBean的介面
void afterPropertiesSet() throws Exception; 我們看下AbstractRoutingDataSource是如何?這個介面的：

    @Override    public void afterPropertiesSet() {        if (this.targetDataSources == null) {            throw new IllegalArgumentException("Property ‘targetDataSources‘ is required");        }        this.resolvedDataSources = new HashMap<Object, DataSource>(this.targetDataSources.size());        for (Map.Entry<Object, Object> entry : this.targetDataSources.entrySet()) {            Object lookupKey = resolveSpecifiedLookupKey(entry.getKey());            DataSource dataSource = resolveSpecifiedDataSource(entry.getValue());            this.resolvedDataSources.put(lookupKey, dataSource);        }        if (this.defaultTargetDataSource != null) {            this.resolvedDefaultDataSource = resolveSpecifiedDataSource(this.defaultTargetDataSource);        }    }

targetDataSources 是我們在xml設定檔中注入的 dataSourceMaster 和 dataSourceSlave. afterPropertiesSet方法就是使用注入的
dataSourceMaster 和 dataSourceSlave來構造一個HashMap——resolvedDataSources。方便後面根據 key 從該map 中取得對應的dataSource。
我們在看下 AbstractDataSource 介面中的 Connection getConnection() throws SQLException; 是如何?的：

    @Override    public Connection getConnection() throws SQLException {        return determineTargetDataSource().getConnection();    }

關鍵在於 determineTargetDataSource()，根據方法名就可以看出，應該此處就決定了使用哪個 dataSource ：

    protected DataSource determineTargetDataSource() {        Assert.notNull(this.resolvedDataSources, "DataSource router not initialized");        Object lookupKey = determineCurrentLookupKey();        DataSource dataSource = this.resolvedDataSources.get(lookupKey);        if (dataSource == null && (this.lenientFallback || lookupKey == null)) {            dataSource = this.resolvedDefaultDataSource;        }        if (dataSource == null) {            throw new IllegalStateException("Cannot determine target DataSource for lookup key [" + lookupKey + "]");        }        return dataSource;    }

Object lookupKey = determineCurrentLookupKey(); 該方法是我們實現的，在其中擷取ThreadLocal中儲存的 key 值。獲得了key之後，
在從afterPropertiesSet()中初始化好了的resolvedDataSources這個map中獲得key對應的dataSource。而ThreadLocal中儲存的 key 值
是通過AOP的方式在調用service中相關方法之前設定好的。OK，到此搞定！

7）擴充 ThreadLocalRountingDataSource

上面我們只是實現了 master-slave 資料來源的選擇。如果有多台 master 或者有多台 slave。多台master組成一個HA，要實現當其中一台master掛了是，自動切換到另一台master，這個功能可以使用LVS/Keepalived來實現，也可以通過進一步擴充ThreadLocalRountingDataSource來實現，可以另外加一個線程專門來每個一秒來測試mysql是否正常來實現。同樣對於多台slave之間要實現負載平衡，同時當一台slave掛了時，要實現將其從負載平衡中去除掉，這個功能既可以使用LVS/Keepalived來實現，同樣也可以通過近一步擴充ThreadLocalRountingDataSource來實現。

3. 總結

從本文中我們可以體會到AOP的強大和靈活。

本文使用的是mybatis,其實使用Hibernate也應該是相似的配置。

【轉】Spring, MyBatis 多資料來源的配置和管理