Skip to content

A high-performance lightweight framework of PHP to achieve incremental update of ES documents / 一个基于Canal实现ES文档增量更新的高性能轻量框架

License

Notifications You must be signed in to change notification settings

WGrape/esupdater

Repository files navigation

img

一个基于Canal实现ES文档增量更新的高性能轻量框架

GitHub release (latest by date) Docker Pulls

一、介绍

ESUpdater是一个基于Canal实现ES文档增量更新的高性能轻量框架。基于以下优势,可以让你快速上手和使用。

Architecture

1、轻量级框架

无论安装使用,还是代码设计,整个框架都非常轻量,优雅的完成数据二次处理和ES增量更新。

2、全面容器化

为解决各种依赖安装的复杂麻烦问题,已实现全面容器化,只需一条命令就可以轻松安装、部署、和维护。

3、事件驱动化

基于框架内部的事件驱动设计,可以轻松地注册不同数据表的变更事件和回调,优雅地实现增量更新。

4、插件化扩展

在不影响框架内部运行的前提下,支持插件化扩展,实现对内部行为的自定义扩展。

5、高性能消费

通过一个Consumer进程和多个Worker进程的一对多通信模型,最少提高10倍的吞吐量,实现高性能消费。

二、快速上手

预计只需要 3分钟 即可完成 !

以下操作中会依赖Docker,所以请先安装并启动它。如果只是试用则强烈建议你全程使用在线Docker网站,按如下步骤安装即可,非常方便。

1、获取项目

通过git clone或下载Release包即可获取项目,如果出错请参考获取过程帮助文档。

git clone https://github.com/WGrape/esupdater
cd esupdater

2、开始安装

执行install目录下的install.sh安装脚本时,需要传递如下参数以实现设置环境变量。如果出错请参考安装过程帮助文档。

  • your_local_ip :本机IP参数,通过ifconfig查看,通常为192.168开头,而不是127.0.0.1
cd install
bash install.sh ${your_local_ip}
cd ..

3、运行项目

安装成功后,执行根目录下的start.sh启动脚本即可。如果出错请参考运行过程帮助文档。

bash start.sh

# 查看日志输出
tail -f /home/log/esupdater/debug.log.20220111

4、测试运行

在另一个窗口进入kafkaContainer容器中,按如下操作启动Kafka生产者

docker exec -it kafkaContainer /bin/bash
cd /opt/kafka/

# 启动时可能会出现warn, 忽略即可
./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic default_topic

img1

启动成功后会进入一个生产消息的命令行,发送任意消息后,查看上一步日志中的输出,如果出现如下类似日志则说明服务已经成功运行 !

img2

三、业务接入

如果需要在你的业务中接入此项目,请参考应用接入文档

四、扩展列表

基于插件化扩展开发,项目提供了一系列开箱即用的扩展。

1、AutoGenerateCallback

一个自动生成HandlerService的事件回调模块的扩展。具体使用见使用介绍

五、关于项目

1、深入了解

如果想要深入了解本项目,在 doc目录 下提供了如下丰富完善的项目文档,欢迎阅读。

  • APPLICATION :帮助你快速在业务中接入此项目
  • HOWTOCODE :更深的了解项目,包括架构设计、底层原理
  • HELP :解决安装和部署过程中问题的帮助手册,包括镜像制作帮助、容器部署帮助等

2、参与项目

项目源码设计简单易懂,如有更好的想法,可参考如何贡献文档,期待提出宝贵的 Pull request

如果在了解和使用过程中,有任何疑问,也欢迎提出宝贵的 Issue

开源不易,如果支持本项目 欢迎Star ! 以激励维护和更新的动力。

六、贡献列表

所有对本项目有过重要贡献的用户,会收录在此贡献者列表中。

About

A high-performance lightweight framework of PHP to achieve incremental update of ES documents / 一个基于Canal实现ES文档增量更新的高性能轻量框架

Topics

Resources

License

Code of conduct

Stars

Watchers

Forks