|
|
51CTO旗下网站
|
|
移动端

利用MySQL日志模拟恢复数据变化轨迹(上)

有这么一个需求,希望通过binlog去恢复数据库某个时间段内数据的变化情况。先说一下为什么用binlog可以做这么一件事情。由于我们的binlog采用ROW模式,那么binlog会记录每一条数据所有列的变化信息,这些信息,我们就可以认为是一个数据源。

作者:智盛来源:taobaodba|2012-12-07 14:17

题记:

先吐槽~~,这周末给屌丝哥(@应元)给废了。

有这么一个需求,希望通过binlog去恢复数据库某个时间段内数据的变化情况。

正文:

先说一下为什么用binlog可以做这么一件事情。

由于我们的binlog采用ROW模式,那么binlog会记录每一条数据所有列的变化信息,这些信息,我们就可以认为是一个数据源。

首先,我们先看一下binlog,通过命令行

mysqlbinlog –no-defaults -v –start-datetime=”2012-10-01 00:00:00″  –stop-datetime=”2012-10-1 02:00:00″ mysql-bin.000001 > tmp.log

去解析binlog。INSERT、UPDATE、DELETE三种操作如下图:

图中的@1、@2就是表示表a的列名,等号后面的信息就是该列的值。

我们打算通过拼装这些信息,将所有的操作都转换成INSERT操作,重新插入到数据库中,这样就可以看到一个数据的变化轨迹。

当然,我们需要注意一点,将表结构中的主键替换成普通索引,将唯一约束去除,保证每一条拼装出来的sql都能顺利被执行。

对于INSERT和DELETE两个操作,其数据项是唯一的,而UPDATE则有两部分。由于是顺序操作,所以我们需要的是UPDATE中SET之后的部分,即变化后的数据。

我们看一下列子:

首先我们有一个表a,结构如下:

然后我们对其做了一些操作,如下:

假设这些操作的时间在2012-11-25 16:20:00 至 2012-11-25 16:21:00内操作。在之后的时间内也被操作过。

现在我们就想看到在2012-11-25 16:20:00 至 2012-11-25 16:21:00内的操作内容。

通过该思路的方法,恢复后的数据库内容如下:

这样我们就可以观察到表a中id=1的num列的变化过程。

经典场景:商品减库存。

最后,方法还有不足之处:

如上图中红色方框内这两条数据,其实应该表示一个是UPDATE之后的结果,一个是DELETE的结果。我们在考虑时候对表结构进行变更,增加新的一列,表示是什么操作引起数据变化,这样就更加直观的看到数据变化的轨迹了。

PS:下篇文章我们会给出在实现过程中碰到的问题以及实现工具。

【编辑推荐】

  1. Linux下MySQL服务器级优化技巧
  2. MySQL创立者:云计算必须建立在开源之上
  3. Mysql安全删除大表
  4. Mysql bug#64624:备库开启query cache后crash的分析
【责任编辑:黄丹 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

活学活用 Ubuntu Server

活学活用 Ubuntu Server

实战直通车
共35章 | UbuntuServer

230人订阅学习

Java EE速成指南

Java EE速成指南

掌握Java核心
共30章 | 51CTO王波

87人订阅学习

Mysql DBA修炼之路

Mysql DBA修炼之路

MySQL入门到高阶
共24章 | 51CTO叶老师

483人订阅学习

读 书 +更多

网络渗透测试——保护网络安全的技术、工具和过程

网络和计算机安全问题已经成为政府、企业必须面对的现实问题。应对安全威胁的途径之一就是采用渗透测试的方法模拟黑客的攻击,找出网络和计...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO播客