kl个人博客 首页>>Spring>>Apollo应用之动态调整线上数据源(DataSource)

Apollo应用之动态调整线上数据源(DataSource)

Apollo应用之动态调整线上数据源(DataSource)

前言碎语

博主之前写过使用apollo的配置动态推送能力来动态修改线上环境的日志输出级别,具体可见《spring boot动态调整线上日志级别》,今天来实现一个类似的应用场景,动态变更线上数据源。主要应用场景如:测试时不重启服务切换数据源,准生产无缝切换生产环境,应用端读写分离策略动态化等等,更多的使用场景欢迎在留言区补充。

实现思路

通过对主流数据源(c3p0,dbcp2,tomcat jdbc,Hikari)实现的代理,来动态管理应用到数据库的连接,以及实现应用端的读写分离数据链接策略。如上,spring已经有个抽象类AbstractRoutingDataSource很好的实现了。通过AbstractRoutingDataSource对DataSource的管理,使用apollo配置动态推送能力,动态修改AbstractRoutingDataSource中resolvedDataSources数据源实例,可以很好的实现动态变更线上数据源。

关于AbstractRoutingDataSource

AbstractRoutingDataSource使用Map resolvedDataSources保存了所有可用的数据源实例,预留了一个方法determineCurrentLookupKey给子类去决定使用哪个数据源。这个方法的返回值就是resolvedDataSources中对应的key值,通过这个可以轻松实现应用层面的数据读写分离。当应用程序请求连接时,它拿着子类实现返回的结果去resolvedDataSources中寻找真实的数据源拿数据连接。

具体实现


/**
 * @author : kl * @authorboke : kailing.pub
 * @create : 2018-03-31 下午5:54
 * @description:
 **/
@Configuration
@EnableConfigurationProperties(DataSourceProperties.class)
public class DataSourceConfiguration {

    Logger logger = LoggerFactory.getLogger(getClass());

    private final static String DATASOURCE_TAG = "db";

    @Autowired
    ApplicationContext context;

    @ApolloConfig
    Config config;

    @Bean("dataSource")
    public DynamicDataSource dynamicDataSource() {
        DynamicDataSource source = new DynamicDataSource();
        source.setTargetDataSources(Collections.singletonMap(DATASOURCE_TAG, dataSource()));
        return source;
    }
    @ApolloConfigChangeListener
    public void onChange(ConfigChangeEvent changeEvent) {
        SetchangedKeys = changeEvent.changedKeys();
        if (changedKeys.contains("spring.datasource.url")) {
            DynamicDataSource source = context.getBean(DynamicDataSource.class);
            source.setTargetDataSources(Collections.singletonMap(DATASOURCE_TAG, dataSource()));
            source.afterPropertiesSet();
            logger.info("动态切换数据源为:{}", config.getProperty("spring.datasource.url", ""));
        }
    }
    public DataSource dataSource() {
        HikariDataSource dataSource = new HikariDataSource();
        dataSource.setJdbcUrl(config.getProperty("spring.datasource.url", ""));
        dataSource.setUsername(config.getProperty("spring.datasource.username", ""));
        dataSource.setPassword(config.getProperty("spring.datasource.password", ""));
        return dataSource;
    }
    class DynamicDataSource extends AbstractRoutingDataSource {
        @Override
        protected Object determineCurrentLookupKey() { return DATASOURCE_TAG; }
    }
}
实例环境说明


1.本文实现基于spring boot2.0的环境,spring boot2.0中默认数据库连接池用的Hikari,这个连接池性能不俗,按官方说法,他们在程序基础数据结构,字节码,编译器级别做了大量优化,来保证Hikari的优异性能。从spirng boot 切换tomcat jdbc默认实现这波操作来看,Hikari这款连接池的性能应该不赖。

2.spring boot默认开启了DataSource的自动装配,可以通过@SpringBootApplication(exclude = DataSourceAutoConfiguration.class)这种方式排除自动装配

ps:

我的博客即将搬运同步至腾讯云+社区,邀请大家一同入驻:https://cloud.tencent.com/developer/support-plan?invite_code=2rgybmkkwtusk


文末结语

通过apollo配置动态推送能力,结合AbstractRoutingDataSource,可以轻松实现线上数据源的动态切换。当然,不仅仅是数据库的数据连接可以动态切换,按照上面的设计实现思路,通过apollo的动态配置能力,可以轻松实现很多的线上动态切换。关于线上数据源切换的应用场景,以及apollo的更多应用场景,欢迎大家在下面留言区留言补充。文中提到的Apollo是携程开源的配置中心项目,顺道推广下。项目地址如下

Apollo项目地址:https://github.com/ctripcorp/apollo

Apollo配置中心技术支持QQ群:375526581,加群可以和博主畅聊技术

ps:2018/6/30补充

上文所述实现方式过于简单漏掉了一个重要的问题,老的连接没有做任何的处理,可能造成连接泄漏。其实在我们完全切换成新的数据库连接前,我们需要获取到老的连接池,并且校验是否有活动链接,直到没有任何活动链接时,我们需要关闭老的连接。具体可参考宋顺前辈提供的代码如:

 private boolean terminateHikariDataSource(HikariDataSource dataSource) {
    HikariPoolMXBean poolMXBean = dataSource.getHikariPoolMXBean();

    //evict idle connections
    poolMXBean.softEvictConnections();

    if (poolMXBean.getActiveConnections() > 0 && retryTimes < MAX_RETRY_TIMES) {
      logger.warn("Data source {} still has {} active connections, will retry in {} ms.", dataSource,
          poolMXBean.getActiveConnections(), RETRY_DELAY_IN_MILLISECONDS);
      return false;
    }

    if (poolMXBean.getActiveConnections() > 0) {
      logger.warn("Retry times({}) >= {}, force closing data source {}, with {} active connections!", retryTimes,
          MAX_RETRY_TIMES, dataSource, poolMXBean.getActiveConnections());
    }

    dataSource.close();

    return true;
  }
完整的demo实例:https://github.com/ctripcorp/apollo-use-cases/tree/master/dynamic-datasource

kl个人博客