【开源项目】mysql大表数据迁移

news/2024/7/10 22:30:34 标签: 开源, mysql, java

历史数据迁移

  • 项目地址:https://gitee.com/xl-echo/dataMigration

历史迁移解决方案。微服务的架构为基础,使用多种设计模式,如:单利、桥接、工厂、模板、策略等。其中涉及的核心技术有,多线程、过滤器等。致力于解决mysql大表迁移的问题。提供多种迁移模式,如:库到库、库到文件再到库等!
Historical migration solution. Based on the architecture of microservices, multiple design patterns are used, such as simple interest, bridge, factory, template, strategy, etc. The core technologies involved include multithreading, filters, etc. It is committed to solving the problem of MySQL large table migration. Provide multiple migration modes, such as library to library, library to file, and then to library

开发环境

工具版本描述
IDEA2019.2
JDK1.8
MySQL5.75.7 +

技术框架

技术描述用途备注
SpringBoot基础框架构建系统架构
MyBatisORM框架构建数据层
JDBC构建外部数据源用于配置迁移
Maven项目管理项目管理
ExecutorService线程池分批执行任务
Bloom Filter布隆过滤器校验数据是否一致

功能模块

在这里插入图片描述

设计模式

  • 桥接
  • 单例
  • 工厂
  • 模板
  • 策略

迁移逻辑图解


http://www.niftyadmin.cn/n/1638636.html

相关文章

java爬虫之WebMagic实战抓取前程无忧招聘信息

webmagic教程 http://webmagic.io/docs/zh/ 入门案例 package com.hikktn.webmagic;import us.codecraft.webmagic.Page; import us.codecraft.webmagic.Site; import us.codecraft.webmagic.Spider; import us.codecraft.webmagic.model.ConsolePageModelPipeline; import …

Project Management Tips

1.PMP新解:P(Prople),M(Management),P(Project). 2.项目管理的精髓思想:管理变更、管理风险、重视计划的力量。 3.项目管理文档化,经验教训知识化。转载于:https://www.cnblogs.com/Masterpiece/archive/2004/12/20/79614.html

【项目实例】SpringBoot+Vue+iview 实现的个人博客

项目介绍 该项目主要使用技术有Vue iview SpringBoot。数据库使用的是MySQL,数据库有对应的文档,对应的数据都在文档内。主要功能有界面导航,登录注册、博客录入、博客展示、书籍下载、多页面路由、多页面组件、秒杀、项目页。 项目教程文…

串口操作函数分析

1、串口的初始化函数 /* * 初始化UART0 * 115200,8N1,无流控 */ void uart0_init(void) { GPHCON | 0xa0; // GPH2,GPH3用作TXD0,RXD0 GPHUP 0x0c; // GPH2,GPH3内部上拉 ULCON0 0x03; // 8N1(8个数据位,无较验,1个停止位…

windows ES整合logstash日志收集

根据几个博客学习,记录下在windows的情况下,各种实例实现。 文件名 weblog.conf (随便起名字) 存放地址:E:\0320work\logstash-5.6.8\bin input {tcp {host > "localhost"mode > "server"…

很久没有更新网站了

说真的,实在太忙了,人又变的懒惰了,但每天看 博客园 的文章的习惯没有改变,学习了很多东西。 前天看见一个人(不记得名字了)写的关于实体的文章,留了一个Email,晚上就和我联系了&…

org.elasticsearch.index.mapper.MapperParsingException: No type ik_smart for field

java 执行创建索引报错,原因很简单,首先是服务端安装的ES版本必须和java的jar版本一致,否则会出现 NoNodeAvailableException[None of the configured nodes are available:{127.0.0.1:9300} 异常,bean Document(indexName &q…

tomcat 为什么老是显示旧的页面

在 tomcat 的目录下 有个work 目录 做页面缓存,这个实在是太滥了转载于:https://www.cnblogs.com/bobomail/archive/2005/03/25/125357.html