SmartBase

🚀 介绍`

一个功能强大的flink的异构数据处理平台。支持mysql,redis,kafka,hdfs,hbase等市面上大部分主流消息存储系统的多源异构数据转换，同时支持生成CSV，TXT等格式的处理结果。提供低代码的前端交互界面，通过配置方式上传任务至集群，通过平台可视化查看任务结果。

🍗 软件架构

项目通过linux集群运行。包含三个flink-core，Universal-pipe，smartBase-console核心架构.

• 任务处理架构为flink-yarn集群，通过yarn-session运行任务，slot可以按需使用，提高集群的资源利用率。同时配置高可用，Job-Manager可以与task-manager宕机时自动转换。
• web项目交互搭建在Springboot框架上，使用kafka负载均衡集群作为任务上传与结果的消息队列。
• logs返回至消息服务器（springboot），传回至前端。
  • springboot链接
• 前端使用Angular框架。
  • 前端链接

🏳‍🌈 组成部分

1️⃣ flink-core

flink-core 定位是一个flink处理框架，关注编码开发，规范了参数，按照约定优于配置的方式进行开发，融合了DataStream 和 Flink sql api，简化繁琐的操作，聚焦业务本身，提高开发效率和开发体验

2️⃣ Universal-pipe

pipe 是水管的意思，Universal-pipe 的定位是一个数据抽取的处理集群，基于 Hadoop，Yarn等对于flink-core 中提供的各种，数据源开发，目的是打造一个稳定高效的数据处理终端集群，并且集成到 smartBase-console 中，解决实时数据源获取问题。

3️⃣ smartBase-console

smartBase-console 是一个综合实时数据平台，低代码(Low Code)平台，可以较好的管理Flink任务，集成了项目编译、发布、参数配置、启动、savepoint，火焰图(flame graph——待完成)，Flink SQL， 监控等诸多功能于一体，大大简化了 Flink 任务的日常操作和维护，融合了诸多最佳实践。其最终目标是打造成一个实时数仓，流批一体的一站式大数据解决方案，该平台使用但不仅限以下技术:

• Apache Flink
• Apache YARN
• Spring Boot
• Mybatis
• Mybatis-Plus
• Flame Graph
• JVM-Profiler
• Angular
• Ant Design
• Apifox
• ...

🍪 集群配置

• 环境说明 ： 以下为项目运行所需环境，按以下配置不会出现版本兼容性问题。

  • 集群：Linux: CentOS-3.10.0-862.el7.x86_64 * 3
  • gcc： 4.8.5 20150623 (Red Hat 4.8.5-44) (GCC)
  • java：1.8.0_212
  • redis：6.2.1
  • kafka：2.13-3.1.0
  • hadoop：3.1.3
  • flink：1.13.2
  • zookeeper: 3.5.7

• 模块配置

  1. Linux，gcc，java 请自行百度
  2. redis文档
  3. kafka文档
  4. flink文档
  5. mysql文档

🍦 功能概要

• 目前支持的功能有

  • restful传参执行任务
  • 可视化界面（部分）- 增删查任务，动态加载，用户上传，页面编辑
  • kafka->json
  • kafka->mysql`
  • mysql->Java Class`
  • mysql->kafka
  • mysql->localhost,hdfs`(txt/csv)
  • 多mysql源->mysql 聚合同步
  • redis->localhost,hdfs(txt/csv)
  • 自定义端口数据固定格式传输：，目前支持","分割
  • port->mysql
  • port->kafka
  • port->redis
  • port->localhost,hdfs(txt/csv)
  • 自定义端口数据自定义json传输：只需开启一个任务即可完成传输至任意数据源（通过配置json参数）
  • port->Any! ==>(支持的数据格式)

• 待实现的功能有

  • Hbase支持
  • 仪表盘

• 读写速度：（条/秒）

  • (source)->mysql :1188/s
  • (source)->kafka :200000/s
  • (source)->port :11720/s

🍟 使用说明

1. flink启动说明：
   • 首先启动hdfs-yarn集群

  cd /home/star/bin
  ./myhadoop start

• Yarn模式启动flink集群-session模式——详细配置见：flink文档

• ./yarn-session.sh -nm test -d
  

🍍 开发者说明

• 模块配置
  1. Flink内部传参文档
  2. ApiFox请求接口文档

🍇 参与贡献

1. 贡献代码
2. 软件功能测试
3. 请我吃薯片
4. 关注嘉然今天吃什么（bushi！）

🔪 特技

1. 老麻抄手吃20个加豆皮加卤蛋
2. 晚上不睡早上不起
3. 英雄联盟艾欧尼亚铂金
4. 桥牌七无将大师(把把硬叫7NT)
5. 15秒速通理塘！