【数据库】生产问题(数据迁移)

news/2024/9/28 1:11:46

MySQL 亿级数据平滑迁移实战(来自vivo)

https://www.cnblogs.com/vivotech/p/18373623

 

1、方案选型

常见的迁移方案大致可以分为以下几类:

image

而预约业务有以下特点:

  • 读写场景多,频率高,在用户预约/取消预约/福利发放等场景均涉及到大量的读写。
  • 不可接受停机,停机不可避免的会造成经济损失,在有其他方案的情况下不适合选择此方案。
  • 大部分的场景能接受秒级的数据不一致,少部分不能。

结合这些特点,我们再评估下上面的方案:

image

停机迁移方案需要停机,不适用于预约场景。

预约场景存在不活跃的用户数据,如果用渐进式迁移方案的话很难迁移干净,可能还需要再写一个迁移任务来辅助完成迁移。

双写方案最大的优势在于每一步操作都可向上回滚,能尽可能的保证业务不出问题。

因此,最终选择的是双写方案。预约业务涉及到的读写场景多,每一个场景单独进行改造的成本大,采用 Mybatis 插件来实现迁移所需的双写等功能,可以有效降低改造成本。

2、前期准备

 // 全量同步基于 MySQLDump 实现;增量同步基于 binlog 实现;一致性校验通过在新老库各选一个分块,然后聚合列数据计算并对比其特征值实现。
 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.ryyt.cn/news/64920.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈,一经查实,立即删除!

相关文章

Git 分支管理全攻略:一篇博客带你玩转代码分支!

什么是分支?在 Git 里,分支其实就有点像一个树的枝杈,每个分支上可以有不同的文件的版本,并且不会互相干扰。什么是分支?在 Git 里,分支其实就有点像一个树的枝杈,每个分支上可以有不同的文件的版本,并且不会互相干扰。 ​ 分支功能有什么用?在工作中,我们经常是需要…

关于python自动化测试

最近在家搭建了一套可以复用的自动化测试框架,本项目实现接口自动化的技术选型:Python+Requests+Pytest+YAML+Allure 通过 Python+Requests 来发送和处理HTTP协议的请求接口,使用 Pytest 作为测试执行器,使用 YAML 来管理测试数据,使用 Allure 来生成测试报告!

加油站智能视频分析盒

加油站智能视频分析盒通过深度学习视频分析技术,加油站智能视频分析盒代替人眼,7*24小时不间断实时对加油站现场人员行为及设备进行识别站。加油站智能视频分析盒不同于传统安防监管方式,加油站智能视频分析盒可以全年24小时不停歇的对现场人员不合规行为并进行一直持续不断…

【C++】C++提高编程

C++提高编程 本阶段主要针对C++泛型编程和STL技术做详细讲解,探讨C++更深层的使用 1. 模板 1.1 模板的概念 模板就是建立通用的模具,大大提高复用性 模板的特点:模板不可以直接使用,只是一个框架 模板的通用并不是万能的1.2 函数模板C++另一种编程思想称为泛型编程,主要利…

【C++】C++核心编程

C++核心编程 本阶段主要针对C++面向对象编程技术,C++中的核心和精髓。 1. 内存分区模型 C++程序在执行时,将内存大方向分为4个区域:代码区:存放函数体的二进制代码,由操作系统进行管理 全局区:存放全局变量和静态变量以及常量 栈区:由编译器自动分配释放,存放函数的参数…

矿山安全生产监测预警系统

矿山安全生产监测预警系统通过计算机视觉技术,矿山安全生产监测预警系统对矿山生产过程中的人的不安全行为”、“物的不安全状态”、“环境的不安全因素”三方面出发进行实时监测,当矿山安全生产监测预警系统监测到现场画面中人员未穿反光衣行为、明火烟雾、未穿安全帽行为、…

算法与数据结构——简单排序算法(选择、冒泡、插入)

简单排序算法 时间复杂度均为O(n2) 选择排序 选择排序(selection sort)的工作原理非常简单:开启一个循环,每轮从未排序区间选择最小的元素,将其放到已排序的区间的末尾。 算法流程 设数组长度为n,选择排序的算法流程如下。初识状态下,所有元素未排序,即未排序(索引)区…

广州C++信奥老师解一本通题 1260:1282:最大子矩阵

​ 【题目描述】已知矩阵的大小定义为矩阵中所有元素的和。给定一个矩阵,你的任务是找到最大的非空(大小至少是1 1)子矩阵。 比如,如下4 4的矩阵 0 -2 -7 0 9 2 -6 2 -4 1 -4 1 -1 8 0 -2的最大子矩阵是9 2 -4 1 -1 8这个子矩阵的大小是15。【输入】输入是一个NN的…