分享一款超轻量的kettle web端调度平台

#大数据#

简介

	Smart Kettle是针对上述企业的痛点，对kettle的
使用做了一些包装、优化，使其在web端也能具备
基础的kettle作业、转换的配置、调度、监控，能
在很大一定程度上协助企业完成不同业务场景下
数据的ETL（抽取、转换、加工）的能力。
注意：本系统并非是对kettle源码的再造，而是借助
kettle的API，实现kettle在web端功能华丽的转身

架构图

架构图

技术栈

技术栈:  
- 前端使用nginx 作为前端服务器 
- 前端使用vue作为展现框架
- 数据库端使用mysql作为基础数据库
- 数据库监控使用Druid作为基础监控
- 定时调度使用Quartz作为基础插件
- 后端框架使用Springboot+Mybatis作为组合

演示环境

演示环境:  
  - 域名访问 :
      http://yuenbin.com.cn/kettle-admin
      用户名:superadmin或admin,密码为:1
  - ip访问:
      http://121.37.188.231/kettle-admin
      用户名:superadmin或admin 密码为:1

功能点

支持作业、转换的自定义模板设置
支持作业、转换的多任务模板复制
支持作业、转换的GUI端配置同步到web端
支持作业、转换的日志自定路径配置
支持作业、转换的日志文件下载管理
支持文件库资源库配置
支持数据库资源库配置
支持SFTP/FTP/FTPS的远程资源库配置
支持资源库目录树查看
支持作业、转换的集群调度（远程子服务器调用）
支持作业、转换的GUI端配置同步到web端
支持作业、转换的调度配置
支持作业、转换的监控管理
支持作业、转换的本地执行
支持作业、转换的远程执行
支持作业、转换的定时配置
支持作业、转换的实时监控
支持kettle的web端资源库管理
支持自定义线程池设置、任务的并行处理
支持kettle 任务的告警监控、日志管理
提供丰富的业务库、字典库自定义设置
提供完整的、实时的大盘调度监控
提供系统的用户、角色、权限管理
提供Druid数据库查询脚本的实时监控能力

代码结构

├─doc
│  └─database
│      ├─MySql_ds0  --基础数据库设置
│      └─MySql_ds1  --基础数据库设置
├─docker  --容器部署详情
├─folder
├─jenkins  --jenkins持续部署详情
├─settings  --maven默认配置
├─src
│  ├─main
│  │  ├─java
│  │  │  └─org
│  │  │      └─yaukie
│  │  │          └─frame
│  │  │              ├─autocode  --代码机入口
│  │  │              │  ├─controller
│  │  │              │  ├─dao
│  │  │              │  │  └─mapper
│  │  │              │  ├─model
│  │  │              │  └─service
│  │  │              │      ├─api
│  │  │              │      └─impl
│  │  │              ├─config  --系统基础配置入口
│  │  │              ├─kettle
│  │  │              │  ├─api  --kettle核心接口所在位置
│  │  │              │  ├─core
│  │  │              │  ├─listener   --kettle监听所在位置
│  │  │              │  ├─quartz   --定时器所在位置
│  │  │              │  └─service
│  │  │              ├─listener
│  │  │              └─pool   --线程池配置所在位置
│  │  └─resources   --核心配置所在位置
│  │      ├─mapper
│  │      ├─template
│  │      └─ui
│  │          └─images
│  └─test
│      └─java
│          └─org
│              └─yaukie
│                  └─frame   --核心逻辑所在位置

功能概述

登录

登录界面内置了两个账号，一个是admin，一个是superadmin，密码1

调度大盘

作业调度

结束语

今天的技术分享就到这里，保持好奇心，勇攀高峰，
别忘了用爱编程！
感谢您阅读我们的科技历险记。下次再见，愿您的
WiFi信号稳定，程序闪闪发光，键盘声音咔哒入耳！
说到这里，我们的代码之旅也即将结束。愿你的电
脑永远不崩溃，你的程序不会出现任何错误。
记得，技术不仅是关于代码，还和背后的人有关。
不断学习，成长，每写一行代码都让这个世界变得
更美好。
以上就是科技的神奇之处，敬请期待更多技术贴士，
教程和其他极客世界的奇妙之旅！

感谢您对我们技术博客的持续关注，我们会不断创作更多有实用干货的内容。坚持分享我们的经验和见解，期待未来的代码之旅一路相伴，再次谢谢大家！