kl个人博客 首页>>数据库>>mysql日志binlog消费初体验

mysql日志binlog消费初体验

mysql日志binlog消费初体验


前言碎语

早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求。不过早期的数据库同步业务,主要是基于trigger的方式获取增量变更,不过从2010年开始,阿里系公司开始逐步的尝试基于数据库的日志解析,获取增量变更进行同步,由此衍生出了增量订阅&消费的业务,产出了canal项目。canal的原理很简单,就是如上图片所示

  • canal模拟mysql slave的交互协议,伪装自己为mysql slave,向mysql master发送dump协议

  • mysql master收到dump请求,开始推送binary log给slave(也就是canal)

  • canal解析binary log对象(原始为byte流)

但是今天博主要分享的不是canal,上面只是作为一个引子,因为canal的使用相对mysql-binlog-connector-java麻烦点,不仅需要客户端写消费逻辑,还需要部署一套canal的server端,server还依赖的zookeeper组件。所以,今天分享一个简单应用的组件mysql-binlog-connector-java

什么是binlog?

binlog基本定义:二进制日志,也成为二进制日志,记录对数据发生或潜在发生更改的SQL语句,并以二进制的形式保存在磁盘中;

mysql中的binlog?

MySQL的binlog作用类似于Oracle的归档日志,可以用来查看数据库的变更历史(具体的时间点所有的SQL操作)、数据库增量备份和恢复(增量备份和基于时间点的恢复)、Mysql的复制(主主数据库的复制、主从数据库的复制)

binlog有三种格式:Statement、Row以及Mixed。

  1. –基于SQL语句的复制(statement-based replication,SBR), 
  2. –基于行的复制(row-based replication,RBR), 
  3. –混合模式复制(mixed-based replication,MBR)。
Statement 
每一条会修改数据的sql都会记录在binlog中。不需要记录每一行的变化,减少了binlog日志量,节约了IO,提高性能。于记录的只是执行语句,为了这些语句能在slave上正确运行,因此还必须记录每条语句在执行的时候的一些相关信息,以保证所有语句能在slave得到和在master端执行时候相同 的结果。另外mysql 的复制,像一些特定函数功能,slave可与master上要保持一致会有很多相关问题。


ps:相比row能节约多少性能与日志量,这个取决于应用的SQL情况,正常同一条记录修改或者插入row格式所产生的日志量还小于Statement产生的日志量,但是考虑到如果带条件的update操作,以及整表删除,alter表等操作,ROW格式会产生大量日志,因此在考虑是否使用ROW格式日志时应该跟据应用的实际情况,其所产生的日志量会增加多少,以及带来的IO性能问题。
Row

 binlog中可以不记录执行的sql语句的上下文相关的信息,仅需要记录那一条记录被修改成什么了。所以rowlevel的日志内容会非常清楚的记录下每一行数据修改的细节。而且不会出现某些特定情况下的存储过程,或function,以及trigger的调用和触发无法被正确复制的问题.
 Mixed
在Mixed模式下,一般的语句修改使用statment格式保存binlog,如一些函数,statement无法完成主从复制的操作,则采用row格式保存binlog,MySQL会根据执行的每一条具体的sql语句来区分对待记录的日志形式,也就是在Statement和Row之间选择一种。

开启mysql的binlog?

log-bin=mysql-bin #添加这一行就ok

binlog-format=row #选择row模式

server_id=1 #配置mysql replaction需要定义,不能和canal的slaveId重复

在mysql的my.ini配置文件中加上如上配置后重启mysql

验证是否开启binlog?

bog_bin为NO表示数据库已开启

创建项目,加入binlog消费组件?

com.github.shyikomysql-binlog-connector-java0.9.0

连接mysql,监听数据库操作?

请点击此处输入图片描述

数据库sql测试脚本?

请点击此处输入图片描述

回到程序看到已经监听到数据库操作了

请点击此处输入图片描述

典型的应用场景

除了很多主从备份,主从复制等产品外,应用在同步msyql数据库数据到ElasticSearch,solr等索引引擎等使用也是非常的nice啊

可选的binlog解析组件

本文的mysql-binlog-connector-java:https://github.com/shyiko/mysql-binlog-connector-java

阿里的canal:https://github.com/alibaba/canal

点评的puma:https://github.com/dianping/puma



kl个人博客