Skip to content

同步数据库到数据到ES sync data from database to es

License

Notifications You must be signed in to change notification settings

wangfan002/db2es

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

15 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

db2es:1.0

数据库同步ES的Swagger版(脚手架)

标签

ElasticSearch7.10 ES 数据库 同步 mysql sqlserver 数据清洗 多线程 大数据量 全量 增量 定时 脚手架

优点

  • 对大数据量同步性能更出色,基于id或自增列进行多线程分批同步
  • 完全由java语言进行开发,数据清洗更为简单
  • 基于Sqlserver日志的CDC增量同步
  • 支持同步完毕的邮件和钉钉通知
  • 同步基于sql,支持mysql,sqlserver等关系型数据库
  • 支持多ES集群

DEMO

  • 例:同步大数据量数据 10W以上数据 --> 仿照BigData
  • 例:同步小数据量数据 10W以下数据 --> 仿照SmallData

接口展示

访问地址

主要流程图

技术架构

springboot2 maven mybatis-plus mysql sqlserver logback ElasticSearch7.10 swagger2

联系我

Fan.Wang@bjtu.edu.cn

Releases

No releases published

Packages

No packages published

Languages