📝系统配置

• 部门 & 租户

• 用户 & 角色

• 项目 ——> 项目资源(比如yarn,hdfs存储资源,数据源,集群资源)

• 业务流程(每个项目下有多个业务流程)

• 项目配置(比如这个项目的默认参数等)

📝离线开发

开发系统设置

• 数据交换 和 数据集成 ： 数据的同步，数据库的同步，csv/execl同步,非结构化数据同步

• 数据开发
1. 传统数据库 ： MySql / GaussDB / Oracle / PostgreSQL / SqlServer / DB2 等数据库
2. 大数据组件： Spark(Sparl/SparkSql/pySpark) / Hive / HBase 等
3. 语言层面: python/shell/perl
4. 建表的DDL
5. 资源文件 : 不同文件格式的类型

表信息

运行记录

资源文件

自定义函数开发

• Hive函数

• 其它函数

离线作业

新建业务流程(可以简单的理解为一个工作流)

新建离线作业

• 数据同步,抽取数据
1. 数据源配置: 源头表信息 ——> 目的表信息
2. 字段映射关系
3. 参数控制
 
属性配置:
• 使用的资源组
• 运行参数
• 本节点输入参数
• 本节点输出参数
• 依赖资源
 
调度配置:
• 生成实体的方法
• 生效日期
• 定时corn表达式(调度周期,根据天/星期/月等进行配置)
• 调度优先级别
• 调度依赖: 添加上下游节点 或者 将自身重置为根节点
• 调度作用的范围: 当前业务流程 / 当前项目 / 当前租户
 
 

• 脚本开发: 针对不同的数据库进行不同的脚本(还可以选择数据库);不同类型
1. Spark : 提交作业的方式,是否数据湖的format文件格式等,使用的版本,spark的参数; 调度的配置依赖上下游的作业
2. Hive : 无需多的选择,默认的hive设置即可
3. MySql: 数据源类型的选择(假设我配置了多个数据源,是可以进行选择执行和提交;提交版本和发布)
4. hbase: 无需多的配置; 本节点输入参数,本节点输出参数
5. 传统数据库: 支持多个数据源的,都是可以进行选择的,然后进行脚本的编写
6. 常规语言开发: 对常规的语言进行开发设置(python,shell)

• 建表作业: 不同数据库类型的建表脚本进行开发(不参与工作流进行发布)

📝实时开发

系统属性设置

• 数据集成,比如 Flink CDC 等同步

• FlinkSQL

• Flink

• Flink On 数据湖

• Flink DDL

• Flink On 数据湖 DDL

• jar

• py

• txt

• json

• xml

• 等等

实时运行的历史

实时表的管理

函数管理

• 系统函数

• 自定义函数

实时任务开发

• checkpoint 是否开启

• checkpoint的模式是什么配置

• checkpoint的超时设置

• checkpoint的路径设置

• checkpoint保留的个数

• 日志配置

📝服务开发

自定义函数开发

自定义SQL的API开发

• 对应业务流程的选择,也是将什么样的业务给暴露给外侧

• API的名称和请求路径

• 请求方式 和 返回类型的配置

• 调用的频率和超时时间的设置

• 数据源类型(比如Mysql,Oracle等;关系型或者mpp型居多,如果是hive或者是spark的话，不是特别建议)

• 然后选择对应的 数据源 下面的数据库 ， 来进行脚本的开发，将脚本执行的结果拿到返回数据给返回回去

• API常见的一些分页设置等

📝运维中心

• 对我们的DDL进行统一运维处理

• 对我们的离线和实时,统一的任务调度和处理

🤗 总结归纳

📎 参考文章