springboot配置讀寫分離

來源:互聯網
上載者:User

  近日工作任務較輕,有空學習學習技術,遂來研究如果實現讀寫分離。這裡用部落格記錄下過程,一方面可備日後查看,同時也能分享給大家(網上的資料真的大都是抄來抄去,,還不帶格式的,看的真心難受)。

完整代碼

1、背景

  一個項目中資料庫最基礎同時也是最主流的是單機資料庫,讀寫都在一個庫中。當使用者逐漸增多,單機資料庫無法滿足效能要求時,就會進行讀寫分離改造(適用於讀多寫少),寫操作一個庫,讀操作多個庫,通常會做一個資料庫叢集,開啟主從備份,一主多從,以提高讀取效能。當使用者更多讀寫分離也無法滿足時,就需要分散式資料庫了(可能以後會學習怎麼弄)。

  正常情況下讀寫分離的實現,首先要做一個一主多從的資料庫叢集,同時還需要進行資料同步。這一篇記錄如何用mysql搭建一個一主多次的配置,下一篇記錄代碼層面如何?讀寫分離。

2、搭建一主多從資料庫叢集

  主從備份需要多台虛擬機器,我是用wmware完整複製多個執行個體,注意直接複製的虛擬機器會導致每個資料庫的uuid相同,需要修改為不同的uuid。修改方法參考這個:點擊跳轉。

  • 主庫配置

    主要資料庫(master)中建立一個使用者用於從資料庫(slave)讀取主要資料庫二進位日誌,sql語句如下:

      mysql> CREATE USER 'repl'@'%' IDENTIFIED BY '123456';#建立使用者  mysql> GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%';#分配許可權  mysql>flush privileges;   #重新整理許可權

    同時修改mysql設定檔開啟二進位日誌,新增部分如下:

    [mysqld]server-id=1log-bin=master-binlog-bin-index=master-bin.index

    然後重啟資料庫,使用show master status;語句查看主庫狀態,如下所示:

  • 從庫配置

    同樣先新增幾行配置:

    [mysqld]server-id=2relay-log-index=slave-relay-bin.indexrelay-log=slave-relay-bin

    然後重啟資料庫,使用如下語句串連主庫:

    CHANGE MASTER TO         MASTER_HOST='192.168.226.5',         MASTER_USER='root',         MASTER_PASSWORD='123456',         MASTER_LOG_FILE='master-bin.000003',         MASTER_LOG_POS=154;

    接著運行start slave;開啟備份,正常情況如所示:Slave_IO_Running和Slave_SQL_Running都為yes。

可以用這個步驟開啟多個從庫。

  預設情況下備份是主庫的全部操作都會備份到從庫,實際可能需要忽略某些庫,可以在主庫中增加如下配置:

# 不同步哪些資料庫  binlog-ignore-db = mysql  binlog-ignore-db = test  binlog-ignore-db = information_schema    # 只同步哪些資料庫,除此之外,其他不同步  binlog-do-db = game  
3、代碼層面進行讀寫分離

  代碼環境是springboot+mybatis+druib串連池。想要讀寫分離就需要配置多個資料來源,在進行寫操作是選擇寫的資料來源,讀操作時選擇讀的資料來源。其中有兩個關鍵點:

  • 如何切換資料來源
  • 如何根據不同的方法選擇正確的資料來源
1)、如何切換資料來源

  通常用springboot時都是使用它的預設配置,只需要在設定檔中定義好串連屬性就行了,但是現在我們需要自己來配置了,spring是支援多資料來源的,多個datasource放在一個HashMapTargetDataSource中,通過dertermineCurrentLookupKey擷取key來覺定要使用哪個資料來源。因此我們的目標就很明確了,建立多個datasource放到TargetDataSource中,同時重寫dertermineCurrentLookupKey方法來決定使用哪個key。

2)、如何選擇資料來源

  事務一般是註解在Service層的,因此在開始這個service方法調用時要確定資料來源,有什麼通用方法能夠在開始執行一個方法前做操作呢?相信你已經想到了那就是切面 。怎麼切有兩種辦法:

  • 註解式,定義一個唯讀註解,被該資料標註的方法使用讀庫
  • 方法名,根據方法名寫切點,比如getXXX用讀庫,setXXX用寫庫
3)、代碼編寫a、編寫設定檔,配置兩個資料來源資訊

  只有必填資訊,其他都有預設設定

mysql:  datasource:    #讀庫數目    num: 1    type-aliases-package: com.example.dxfl.dao    mapper-locations: classpath:/mapper/*.xml    config-location: classpath:/mybatis-config.xml    write:      url: jdbc:mysql://192.168.226.5:3306/test?useUnicode=true&characterEncoding=utf-8&useSSL=true      username: root      password: 123456      driver-class-name: com.mysql.jdbc.Driver    read:      url: jdbc:mysql://192.168.226.6:3306/test?useUnicode=true&characterEncoding=utf-8&useSSL=true      username: root      password: 123456      driver-class-name: com.mysql.jdbc.Driver
b、編寫DbContextHolder類

  這個類用來設定資料庫類別,其中有一個ThreadLocal用來儲存每個線程的是使用讀庫,還是寫庫。代碼如下:

/** * Description 這裡切換讀/寫入模式 * 原理是利用ThreadLocal儲存當前線程是否處於讀模式(通過開始READ_ONLY註解在開始操作前設定模式為讀模式, * 操作結束後清除該資料,避免記憶體流失,同時也為了後續在該線程進行寫操作時任然為讀模式 * @author fxb * @date 2018-08-31 */public class DbContextHolder {    private static Logger log = LoggerFactory.getLogger(DbContextHolder.class);    public static final String WRITE = "write";    public static final String READ = "read";    private static ThreadLocal<String> contextHolder= new ThreadLocal<>();    public static void setDbType(String dbType) {        if (dbType == null) {            log.error("dbType為空白");            throw new NullPointerException();        }        log.info("設定dbType為:{}",dbType);        contextHolder.set(dbType);    }    public static String getDbType() {        return contextHolder.get() == null ? WRITE : contextHolder.get();    }    public static void clearDbType() {        contextHolder.remove();    }}
c、重寫determineCurrentLookupKey方法

  spring在開始進行資料庫操作時會通過這個方法來決定使用哪個資料庫,因此我們在這裡調用上面DbContextHolder類的getDbType()方法擷取當前操作類別,同時可進行讀庫的負載平衡,代碼如下:

public class MyAbstractRoutingDataSource extends AbstractRoutingDataSource {    @Value("${mysql.datasource.num}")    private int num;    private final Logger log = LoggerFactory.getLogger(this.getClass());    @Override    protected Object determineCurrentLookupKey() {        String typeKey = DbContextHolder.getDbType();        if (typeKey == DbContextHolder.WRITE) {            log.info("使用了寫庫");            return typeKey;        }        //使用隨機數決定使用哪個讀庫        int sum = NumberUtil.getRandom(1, num);        log.info("使用了讀庫{}", sum);        return DbContextHolder.READ + sum;    }}
d、編寫配置類

  由於要進行讀寫分離,不能再用springboot的預設配置,我們需要手動來進行配置。首先產生資料來源,使用@ConfigurProperties自動產生資料來源:

    /**     * 寫資料來源     *     * @Primary 標誌這個 Bean 如果在多個同類 Bean 候選時,該 Bean 優先被考慮。     * 多資料來源配置的時候注意,必須要有一個主要資料源,用 @Primary 標誌該 Bean     */    @Primary    @Bean    @ConfigurationProperties(prefix = "mysql.datasource.write")    public DataSource writeDataSource() {        return new DruidDataSource();    }

讀資料來源類似,注意有多少個讀庫就要設定多少個讀資料來源,Bean名為read+序號。

  然後設定資料來源,使用的是我們之前寫的MyAbstractRoutingDataSource類

    /**     * 設定資料來源路由,通過該類中的determineCurrentLookupKey決定使用哪個資料來源     */    @Bean    public AbstractRoutingDataSource routingDataSource() {        MyAbstractRoutingDataSource proxy = new MyAbstractRoutingDataSource();        Map<Object, Object> targetDataSources = new HashMap<>(2);        targetDataSources.put(DbContextHolder.WRITE, writeDataSource());        targetDataSources.put(DbContextHolder.READ+"1", read1());        proxy.setDefaultTargetDataSource(writeDataSource());        proxy.setTargetDataSources(targetDataSources);        return proxy;    }

  接著需要設定sqlSessionFactory

    /**     * 多資料來源需要自己設定sqlSessionFactory     */    @Bean    public SqlSessionFactory sqlSessionFactory() throws Exception {        SqlSessionFactoryBean bean = new SqlSessionFactoryBean();        bean.setDataSource(routingDataSource());        ResourcePatternResolver resolver = new PathMatchingResourcePatternResolver();        // 實體類對應的位置        bean.setTypeAliasesPackage(typeAliasesPackage);        // mybatis的XML的配置        bean.setMapperLocations(resolver.getResources(mapperLocation));        bean.setConfigLocation(resolver.getResource(configLocation));        return bean.getObject();    }

  最後還得配置下事務,否則事務不生效

    /**     * 設定事務,事務需要知道當前使用的是哪個資料來源才能進行交易處理     */    @Bean    public DataSourceTransactionManager dataSourceTransactionManager() {        return new DataSourceTransactionManager(routingDataSource());    }
4)、選擇資料來源

  多資料來源配置好了,但是代碼層面如何選擇選擇資料來源呢?這裡介紹兩種辦法:

a、註解式

  首先定義一個唯讀註解,被這個註解方法使用讀庫,其他使用寫庫,如果項目是中途改造成讀寫分離可使用這個方法,無需修改業務代碼,只要在唯讀service方法上加一個註解即可。

@Target({ElementType.METHOD,ElementType.TYPE})@Retention(RetentionPolicy.RUNTIME)public @interface ReadOnly {}

  然後寫一個切面來切換資料使用哪種資料來源,重寫getOrder保證本切面優先順序高於事務切面優先順序,在啟動類加上@EnableTransactionManagement(order = 10),為了代碼如下:

@Aspect@Componentpublic class ReadOnlyInterceptor implements Ordered {    private static final Logger log= LoggerFactory.getLogger(ReadOnlyInterceptor.class);    @Around("@annotation(readOnly)")    public Object setRead(ProceedingJoinPoint joinPoint,ReadOnly readOnly) throws Throwable{        try{            DbContextHolder.setDbType(DbContextHolder.READ);            return joinPoint.proceed();        }finally {            //清楚DbType一方面為了避免記憶體流失,更重要的是避免對後續在本線程上執行的操作產生影響            DbContextHolder.clearDbType();            log.info("清除threadLocal");        }    }    @Override    public int getOrder() {        return 0;    }}
b、方法名式

  這種方法不許要註解,但是需要事務名稱按一定規則編寫,然後通過切面來設定資料庫類別,比如setXXX設定為寫、getXXX設定為讀,代碼我就不寫了,應該都知道怎麼寫。

4、測試

  編寫好代碼來試試結果如何,下面是運行:

  斷斷續續寫了好幾天終於是寫完了,,,如果有協助到你,,歡迎star哦,,這裡是完整代碼地址:點擊跳轉

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.