◉◡◉ 您好,欢迎到访伊成个人站!

ETL入门系列 03

背景

结合前面两篇博文,这篇博文进行一次实战案例,用于介绍如何使用Ckettle做数据集成。

实战需求
某公司新人试用期为3个月,现在需要对职称为P3的为转正的员工实施转正考核,需要从现有的一张员工信息表格中提取并筛选未转正的员工数据,然后转存到考核系统的数据库中,每个月的1号执行一次。

技术需求

  • 源数据:Excel 目标数据:MySql

“伊成博客”

业务分析

  • 试用期:3个月 职称:P3 转正状态:未转正

技术概要分析

识别源和目标数据库,数据存储表

操作概要分析

  • 数据处理类型:定时调用
  • 调度频率:每个一次

“伊成博客”

操作步骤

数据抽取

1.找到CKettle安装完成目录中的 ‘Spoon.bat’ 双击打开即可。

2.点击 ‘新建’,选择 ‘转换’ 选项。

“伊成博客”

3.点击 ‘输入’插件中,拖拽 ‘Excel输入’ 插件到右边。

“伊成博客”

4.选择存于你本地的excel文件,点击 ‘添加’按钮。

“伊成博客”

5.切换到 ‘工作表’选项,点击 ‘获选工作表名称’选择数据对应的sheet,完成后点击确定按钮。

“伊成博客”

6.继续切换到 ‘字段’选项,点击 ‘选择来自头部数据的字段’,如无需修改各个字段的类型点击确定按钮。

“伊成博客”

tips:到此第一步的数据抽取的工作就完成了。

数据转换

1.接着需要筛选出职称为P3的员工,需要’过滤记录’插件。

“伊成博客”

2.按住shift键把两个插件用数据线连接在一块,然后进行数据过来的配置。

“伊成博客”

3.接着筛选出未转正的数据,在步骤2中同理操作一次即可。

“伊成博客”

tips:做好以上的步骤,我们可以试着点击’运行’按钮,查看一下流程是否有问题,如果配置都没问题的情况下我们可以查看到数据过滤后的结果。

“伊成博客”

4.添加一个常量用于比较出是否已经满了入职三个月的需求,这里需要一个 ‘增加常量’插件。

“伊成博客”

5.添加一个’计算器’ 插件,把入职时间加上刚刚设置的常量得到一个应该转正日期。

“伊成博客”

6.添加一个 ‘获取系统信息’ 插件,选择系统时间固定值。

“伊成博客”

7.由以上步骤,可以用当前时间和应该转正日期做比较从而筛选出符合条件的数据。

“伊成博客”

做到这一步,点击运行查看一下被筛选后的数据。

“伊成博客”

8.由上一步得知有重复数据,需要借助 ‘去除重复记录’ 插件。

“伊成博客”

数据转载

1.添加 ‘插入/更新’ 插件,配置数据库连接信息。

“伊成博客”

设置好用来查询的关键字字段,这一步是用来当成数据查询的条件。
更新字段这一项是获取数据之后需要更新哪一些字段。

“伊成博客”

配置完成之后可以点击运行按钮,接着查看数据库对应的表是否存放了符合条件的数据。

“伊成博客”

数据成功存入到对应数据库表中,到此数据抽取,转换,装载都完成了。
但每个月1号需要执行一次这个涉及到定时调度,我们后续再出对应博文讲解!

其它说明

《ETL入门系列01》

《ETL入门系列02》

《ETL入门系列03》

ETL入门系列到此结束!

本案例中涉及的execl文档和ktr文件有需要的可以加QQ群:816175200
备注: ckettle


The end.

支付宝打赏 微信打赏