Skip to content

Data-Export支持将链上数据导出到MySQL、ES等便于进行大数据处理的存储介质中,解决区块链数据复杂查询、分析、可视化和处理的问题。

License

Notifications You must be signed in to change notification settings

WeBankBlockchain/Data-Export

Repository files navigation

WeBankBlockchain-Data-Export

License

穿花度柳飞如箭, 粘絮寻香似落星。 小小微躯能负重, 器器薄翅会乘风。 -- 吴承恩

WeBankBlockchain-Data-Export 是一个基于FISCO-BCOS平台的数据导出工具。

数据导出组件WeBankBlockchain-Data-Export的目的在于降低获取区块链数据的开发门槛,提升研发效率。研发人员几乎不需要编写任何代码,只需要进行简单配置,就可以把数据导出到Mysql数据库。

WeBankBlockchain-Data-Export可以导出区块链上的基础数据,如当前块高、交易总量等。如果配置了FISCO-BCOS上运行合约的相关信息,还可导出链上合约的业务数据,包括event、构造函数、合约地址、执行函数的信息等。

此版本只支持FISCO BCOS 2.0及以上版本。

关键特性

  • 支持JSON-RPC、Channel通道、数据仓库源等方式导出数据

  • 支持服务和docker方式部署

  • 支持多数据源,支持分库分表

  • 支持ES存储

  • 支持多活部署,多节点自动导出

  • 支持自定义导出数据内容

  • 提供SDK的集成方式

  • 支持可视化的监控页面

环境要求

在使用本组件前,请确认系统环境已安装相关依赖软件,清单如下:

依赖软件 说明 备注
FISCO-BCOS >= 2.0, 1.x版本请参考V0.5版本 dev分支
Bash 需支持Bash(理论上来说支持所有ksh、zsh等其他unix shell,但未测试)
Java JDK[1.8]
Git 下载的安装包使用Git
MySQL >= mysql-community-server[5.7] 理论上来说支持主流数据库,但未测试
zookeeper >= zookeeper[3.4] 只有在进行集群部署的时候需要安装
docker >= docker[18.0.0] 只有需要可视化监控页面的时候才需要安装
ElasticSearch >= elasticsearch [7.0] 只有在需要ES存储时安装

文档

贡献代码

欢迎参与本项目的社区建设:

  • 如项目对您有帮助,欢迎点亮我们的小星星(点击项目右上方Star按钮)。
  • 欢迎提交代码(Pull requests)。
  • 提问和提交BUG
  • 如果发现代码存在安全漏洞,请在这里上报。

License

license

开源协议为Apache License 2.0. 详情参考LICENSE