数据提取过程主要涉及创建一个作业,每个作业可以包含多个转换操作。 此数据提取过程可以使用Kettle工具进行,也可以创建和调用程序。
Kettle工具的运行分为两个级别:转换和作业。 这两个级别最大的区别是数据传输和执行方法。
另一方面,转换是ETL解决方案的重要组成部分之一,主要用于数据提取、转换和加载等操作,其实质是一组图形化的数据转换配置的逻辑结构
转换包含一个或多个步骤,正在转换的步骤通过跃点连接。 在Kettle中,数据的单位是行,数据流是将数据行从一个步骤移动到另一个步骤。
1、实现转换步骤双击Kettle目录下的Spoon.bat脚本启动Kettle工具,在工具栏中选择“文件”“新建”“转换”命令,然后单击“保存”
创建后,单击Kettle树列表中的核心对象,单击“输入”,将“表输入”拖动到Kettle主界面的工作区中,单击“输出”,然后单击“文本文件输出”
右键单击Kettle主界面工作区中的空白区域,然后选择“新建注释”命令添加注释
2、示例:将一个数据表中的两个字段连接起来插入另一个数据表,首先创建数据库个人,然后在该数据库中创建两个数据表:个人_ a和个人_ b 创建数据表后,目标是将每个人的姓和名连接起来并插入到数据表personal_b中,如下图所示
然后打开Kettle工具,如图所示创建转换filed_stitching
部署“表输入”控件,双击“表输入”控件,进入界面,然后单击连接数据库后的“新建”按钮以部署数据库连接。 数据库连接的配置如下,测试后会显示正确的连接
然后单击“确认”,单击“获取SQL查询语句.”按钮,打开“数据库浏览器”窗口,展开field_stitching,选择“表”下的personal_a,然后单击弹出式单击窗口后,“表输入”界面放置的最终效果如图所示
单击“确定”以完成“表输入”控件的放置
然后,配置“JavaScript代码”控件,双击该按钮,在窗口中编写脚本代码,单击“获取变量”按钮,然后在字段窗口中单击“重命名”,如图所示
单击“确定”按钮以完成“JavaScript代码”控件的设置
最后放置“插入/更新”控件,然后双击此按钮进行放置。 首先部署数据库连接,部署完成后单击“确认”按钮。
然后,单击目标表右侧的“浏览”按钮,弹出“数据库浏览器”窗口,选择“表”下的personal_b,然后单击“确定”按钮,将目标
然后单击“获取字段”按钮,选择数据表personal_b中的id_b字段和输入流中的id字段,并查询数据所需的关键字。 具体请参照图
单击“编辑映射”按钮以显示“匹配映射”窗口,选择“源字段”选项框中的字段和“目标字段”选项框中的字段,然后单击“添加”按钮如果“源字段”选项框中的字段与“目标字段”选项框中的字段相同,则可以单击“猜测”
然后单击“确定”按钮,完成“插入/更新”控件的设置
最后,单击“转换”工作区顶部的“运行”按钮运行转换,并将personal_a中的surname和name字段连接起来并插入到personal_b中。 最后可以通过查询personal_b数据表来检测成功
二.工作
作业包含一个或多个作业条目,这些作业条目按某种顺序执行。 作业的执行顺序由作业项之间的跳转和每个作业项的执行结果决定。
1、与创建作业的步骤相同,双击Spoon.bat脚本启动Kettle的图形主界面,在工具栏中选择“文件”“新建”“作业”命令,然后单击作业同样,可以通过保存到作业来命名
单击核心对象下的“常规”,将Start和“作业”依次拖动到Kettle工作区,单击“邮件”,将“发送邮件”也拖动到工作区,然后按住Ctrl键并单击Ctrl
可以通过右键单击Kettle主界面工作区中的空白区域,然后从显示的快捷菜单中选择“新建记录”命令来创建注释
2、实例:要通过Kettle工具作业发送邮件,请先创建作业send_email,然后添加Start控件、“发送邮件”控件、“成功”控件和作业跳跃连接线具体效果如图所示
而后配置Start控件,双击Start控件,进入“作业实时调度”界面,单击“类型”后的下拉列表框,选择“时间间隔”定时,并设置以秒计算的间隔是10,以分钟计算的间隔是0(即作业运行10秒后发送邮件),具体如图
单击“确定”按钮完成Start控件的配置
而后双击“发送邮件”控件,进入“发送邮件”页面
根据个人情况填写收件人和发件人的相关信息
验证中用户验证的用户名是邮箱号,密码是第三方授权码,在qq邮箱的设置账户栏里开启获得即可
以上信息以及邮件消息均要选择性填写好
通过查看邮件是否成功收到来判断此作业运行是否成功
168飞艇6种不亏钱的方法a中的surname和name字段连接起来并插入到personal_b中。 最后可以通过查询personal_b数据表来检测成功
二.工作
作业包含一个或多个作业条目,这些作业条目按某种顺序执行。 作业的执行顺序由作业项之间的跳转和每个作业项的执行结果决定。
1、与创建作业的步骤相同,双击Spoon.bat脚本启动Kettle的图形主界面,在工具栏中选择“文件”“新建”“作业”命令,然后单击作业同样,可以通过保存到作业来命名
单击核心对象下的“常规”,将Start和“作业”依次拖动到Kettle工作区,单击“邮件”,将“发送邮件”也拖动到工作区,然后按住Ctrl键并单击Ctrl
可以通过右键单击Kettle主界面工作区中的空白区域,然后从显示的快捷菜单中选择“新建记录”命令来创建注释
2、实例:要通过Kettle工具作业发送邮件,请先创建作业send_email,然后添加Start控件、“发送邮件”控件、“成功”控件和作业跳跃连接线具体效果如图所示
而后配置Start控件,双击Start控件,进入“作业实时调度”界面,单击“类型”后的下拉列表框,选择“时间间隔”定时,并设置以秒计算的间隔是10,以分钟计算的间隔是0(即作业运行10秒后发送邮件),具体如图
单击“确定”按钮完成Start控件的配置
而后双击“发送邮件”控件,进入“发送邮件”页面
根据个人情况填写收件人和发件人的相关信息
验证中用户验证的用户名是邮箱号,密码是第三方授权码,在qq邮箱的设置账户栏里开启获得即可
以上信息以及邮件消息均要选择性填写好
通过查看邮件是否成功收到来判断此作业运行是否成功