kettle组件说明

De-serialize from file input 从一个二进制的KettleCube读取数据 最好做暂存使用,容错能力差
Xbase Input input 从一个Xbase家族的文件中读入数据
Serialize to file input 将数据以二进制形式保存,读入时无需转换
Access Input Input 该步骤提供了从MSAccess数据库读数据的能力 需要指定Table Name FileName is defined in a filed,从指定的区域读数据.否则从指定位置读取,可以按照正则表达式读取
CSV Input input 该步骤提供了从确定分解文件中读取数据的能力 需要指定分隔符和结束符
Delemitor input 分隔符
NIO buffer input 非阻塞(异步传输)缓存
Lazy Conversaition input 延迟转换,不主动转换,在其他步骤有需要时才进行转换,为了提高性能.
running in parallel input 并行运行,如果同一步骤有三个部分在执行,可以选择然后前面的数据会平均的分给本数据.
Excel Input input 该步骤提供了从一个或者多个Excel表读取数据的能力
Wildcard input 疯狂卡~~~ 提供正则表达式匹配
Accept filename from previous step input 从前一步骤中获取文件名
Fixed file input Input 该步骤提供了从固定行宽度的文件的数据读取能力
Line feed character Input 行满符 ascll值 010
Add filename to result option input 向结果输出文件名称
trim type Input 选择消除空格的方式,右边的,左边的,都或者都不
Line feed present Look UP 检查文件是否包含行满符
Generate rows Look UP 产生行,可以指定固定值和行数
Generate random value Look UP 产生随机数,字符串等等
Get file name Look UP 获取文件名称
get file rows count Operation 获取文件行数,可以指定换行符
Get System info Operation 获取系统信息
get data from XML Operation 从XML文件中获取数据
loop Xpath Operation 选择XML文件的循环层,个人理解是根节点
Ignore Comments Operation 忽略注释,不读入数据流
Use Token Operation 使用宏?
Igore empty file Operation 如果是空文件跳过,似乎如果该步骤中只有一个空文件且跳过会出错 选择 Do not raise an error if no file exists似乎就可以正常了.
Property Input Opertion 从Property文件中读入数据
Streaming XML Input Opiton 以流文件的形式从xml文件中读出数据
Table Input Opiton 从数据表中读入数据
Get sql Statement Option 提供与sql相关的功能
Preview first row option 获取前100行
preview first rows option 获取指定行数行
Number Of rows of Option 获取指定表,schema,view和行数
Show Layout of Option 获取指定表,schema,view的一些参数
Generate DDL Option 获取指定表,schema,view的DDL
DDL Option Data define language 数据定义语言
generate DDL for Other language Option 以其它连接(数据库)的的标准产生DDL,感觉很有用
Open SQL for Option 产生一个 Select 语句,OK后会询问是否采用非*的全部查询,感觉挺好用的
trunscate table Option 提供临时的一个查询分析器
text file input Option 提供一个普通文件的数据录入系统
Escape Other 转义字符
SQL File Output Other 以insert语句的形式进行存储
Call DB Procedure Other 调用数据库存储过程
Database lookup output 查询数据库
Stream Lookup Output 从前一步骤的数据流中查询数据
Web Service Lookup transform 查看用作子服务器的服务器状态
Abort transform 夭折,使之结束
add a checksum transform 校验和
Add a constants transform 增加一个常量做属性列
Add a sequence transform 增加一个自增长属性列
Append Streams transform 将一个流连接到另外一个流之后
Blocking Step transform 障碍步骤,使得所有前置步骤执行完成之后才执行下一步,很有用
Calculator transform 提供高效的运算
Clone row transform 复制列
Closeure generator transform 以父子点为基点,父子连接为初识链接,获取所有可以互相连接的点,高级计算的时候很有用
Delay row transform 暂停流转,似乎在debug或者观察性能时有用
Dummy transform 无作为点,对debug很有用
Filter row transform 其它步骤可以引用,分离数据
Group by transform 和数据库中提供的group by 一样强大
Metadata structure of stream transform 获取元数据
Null if transform 置空动作
row normalizer transform 将列映射到行中
Row DeNormaliser` transform 将行转换成列
Row Flatterner transfrom 合并行,合并相同属性,继承不同属性
Select Values trasfrom 选择流中流转到下一步的数据列
sort rows transform 给列排序,和sql的类似
Field split transform 将记录中指定属性分裂成多个属性.需要提供分裂的属性和分隔符,似乎可以用空格
split field to rows transform 将指定属性内容分裂,产生新属性记录和之前记录的属性笛卡尔积
switch/case transform 根据指定属性对记录分类
unique rows transform 筛选出没有重复的记录,需要预排序
value mapper transform 对指定属性进行映射,可以选择新目标属性或者覆盖原属性
XSD validator transform 使用XSD文件对XML文件进行验证
XSL transformation transform 使用XSL文件对XML文件进行转换
join rows join 对多个输入流进行笛卡尔连接,也可以判断性的链接
Merge Join join 根据主键对两个数据流进行连接
merge Rows(diff) join 对两个数据源进行相似比较合并,并可以在输出流中增加对该条记录在源数据是否一致,如果不一致将会在输出流中输出用于比较的记录的值而不是用于引用的记录的值,Identical表示两者一致,Changed表示两个数据流中的不一致,new表示只存在于比较数据流中,deleted表示只出现在引用数据流中
sorted merge join 可以多个已排好序的数据源合并
XML join join 对两个XML进行连接
Excuete SQL script scripting 在指定的数据库上执行sql语句
Modified java script value scripting 对数据流进行处理,默认是每条记录运行一次
Regex Evaluation scripting
Dimension lookup/update data warehouse 对数据库中缓慢变化维进行更新,有update和insert两种,需要有专门的版本属性
Combination lookup/update data warehouse 对一个junk dimension进行代理主键的更新或者插入
Mapping(sub-transformation mapping 调用一个映射transformation,可以设置参数
Mapping Input specification mapping 一个映射transformation的开始步骤,提供参数的输入
Mapping output specification mapping 一个映射transformation的输出步骤,可以输出参数
Copy rows to result Job 将数据传送到下个任务
Get Variables job 从上一个Job中获取参数
Get files from result Job 从上一个Job中获取其所创建的文件信息
Injector Inline 本步骤允许通过JAVA API 注入数据
Socket reader Inline 从一个PDISocket输出流读取数据
Socket Writer Inline 向一个PDISocket输入流输出数据
Data Validator experimental 数据验证步骤,可以按照是否null等进行验证,需要给出filedname和数据类型,如果验证数据流中有数据没有通过会停止transformation
Greenplum bulk loader experimental 从greenplum中获取数据数据的高速步骤
Oracle bulk Loader experimental 从Oracle数据库中高速获取数据
PostgreSql Bulk Loader experimental 从PostgreSQL中高速获取数据
Aggregate Rows Deprecated 简单聚集步骤建议不使用而是使用groupby步骤代替
history history 对历史中使用最多的步骤的集合
export as xml file FILE 用XML格式保存Job或者transformation
inport from XML file FILE 打开XML格式KTR文件
Search meta data Edit 按照指定条件获取当前job或者transformation中的所有元数据
Set environment EDIT 在当前JVM中定义一个全局变量
Get Envirment EDIT 获取当前JVM中的全局变量
Repository Repository 管理资源库,包括连接,断开资源库,管理资源库中资源等
View View 设置当前查看的大小
JOB JOB MENU 当前任务为job级时开始job,编辑job等功能
Wizard Wizard 提供创建数据库源,TABLE-TABLE的数据复制,TABLES-TABLES的数据复制

kettle学习记录

日志服务器随便选择服务器后运行后程序会死掉.似乎是字符编码集的问题 否
似乎对中文支持不好 是的,名称不支持中文
假死怎么办 不知道
起始数据库的作用 存储元数据,保存程序数据
分区的作用
2008-7-29 日期
当自己有特殊要求的时候可以写插件或者JavaScript 知识
Regex evaluation 里面的选项 dotall model 汗,这是regex知识,enable的时候 ‘.’可以匹配任意字符包括结束符,disable的时候不可以匹配结束符
Regex evaluation 里面result fieldname 提示是使用control+ space 其实还是control + alter +space. 心得

Environment variable可以使用${}或者%%变量%%进行引用
最好像kettle的命名规范一样 ‘域名.变量名’ 心得
数据库乱码问题
在新建connection的general中是没有办法设置encoding方案的
解决方法,在option中可以添加NEWCODESET,picc690使用的是gbk,8859-1,819,所以我们就在value处填写gbk,8859-1,819即可
事实上 知识+心得
在table input 中有 lazy conversion, 意思是延迟转换,不主动转换,在其他步骤有需要时才进行转换,为了提高性能.
PDI Pentaho Data Integration 知识
在输出过程中如果已有该数据,不会被update,但是会被insert 心得
在使用 control+ alter + space 选择的时候可以使用首字母快速跳转 心得
一方面因为JVM不能长时间运转无错,另一方面Kettle还没有那么强大,不能schedule过长时间 知识
有时候上次保存的环境变量或者新建的connection会消失, -_-!
环境变量容易消失,connection有时候不会 心得
在database explorer中有generate DDL 选项,即创建数据表的语句 心得
常用的transition Table Input(表输入)Value mapping (映射Code到名称)
Select Values (选择进入下一步的列) add constants (增加常量到列)
Merge join (按主键进行合并,常和 Select Values 合用) 心得
2008-7-29
注意在merge以前要排序,而且排序的方向要相同,估计是算法的原因 心得
Hop颜色含义
绿色 分发
红色 复制
黄色 给步骤提供信息,分发
橙红 给步骤提供信息,复制
灰色 不可用
黑色 无条件运行到下一步(从’开始’出来的)
蓝色 候选链接
橙色,虚线 没有数据经过
红色 粗虚线 发送在源步骤出错的行
知识
Add Sequence:
这个步骤在流中增加一个序列。一个序列是在某个起始值和增量的基础上，经常改变的
整数值。你可以使用数据库的序列，也可以使用 Kettle 决定的序列
备注：Kettle 序列在同一个转换中是唯一使用的。每一次转换运行的时候，序列的值
又会重新循环一次（从开始值开始） 知识
计算器的一个重要优势是，它有着几倍于常用的 JavaScript 脚本的速度 知识
扁平化: 多行合并相同的属性,继承不同的属性, 知识+心得
Blocking :它冻结所有的输出，直到从上一步骤来的最后一行数据到达,
最后一行数据将发送到下一步。 知识
Merge Row :两个行流被合并，一个是引用流（旧数据），一个比较流（新数据）。每次都是行的最后 版本通过进入下一步骤。
Store merge 用于多个数据源相同表的合并
JavaScript 中 行(row)是一个特殊的字段，包含了当前行的所有值 知识
Injector 注射器主要是针对以下人使用：想利用 Kettle API 和JAVA来注射记录到转换中。 知识
Socket Injector 套接字读入器是通过 TCP/IP 协议将数据从一个服务器向另一个服务器传输。 知识
Stream XML Input这个步骤主要提供值的解析，它信赖于 SAX 解析器，在大文件解析上能提供更好的性能。 它与 XML 输入非常相似，仅仅在内容和字段制表符上略有不同。 知识
有transformation和job两个级别,在job里面是对job和transformation进行调度. 知识
用ksh在Unix上面安装bin后缀的文件 知识
2008-7-31
如果因为transformation或者job找不到而不能启动可以在.spoonrc中把OpenLastFile设置问N 知识+心得
步骤介绍
http://wiki.pentaho.com/display/EAI/Pentaho+Data+Integration+Steps 知识
Plug-In
http://wiki.pentaho.com/display/EAI/List+of+Available+Pentaho+Data+Integration+Plug-Ins 知识
设置自动登录
在环境变量里面设置三个变量
KETTLE_REPOSITORY, KETTLE_USERand KETTLE_PASSWORD. 知识
Multiple SQL Statements have to be separated by semi-colons (;).
Before these SQL Statements are sent to the database to be executed, Spoon removes returns,
line-feeds and the separating semi-colons.
Kettle clears the database cache for the database connection on which you launch DDL statements. 知识
可以在右键功能菜单中修改Data Movement 知识
Number Formats
The information on Number formats was taken from the Sun Java API documentation 知识
在Table look up 的时候如果有事务处理的话使用缓存可能造成脏数据 知识
对话框请扩展开,否则会隐藏组件 心得
当采用kettle的sort rows 时当数据超过5000行时需要缓存 知识
Unique Row(合并行)需要源流已经被排过序了. 知识
A_B映射时可以从空值映射到非空值 知识
Set Variable 在前一转换中设置Variable使得下一步可以使用,应该是被当作Environment variable 使用.会很有用.同一VM上的都可见. 知识
如果使用了资源库并且断过网络,可能出现无法保存的情况,可以暂时Export到本地,重新打开并import然后保存. 心得
2008-7-31
Closure generator 以parent 和child为一组节点群,存在以元组中parent指向child的基本连接,cg的作用就是在节点群和基本连接的基础上寻找所有可能连接,使用的迭代的算法,直至不再更新. 知识+心得
Oracle 支持 Delete from table 不支持 delete * from table 知识+心得
2008-8-1
假死的情况,通常是由第一个步骤引起的 心得
alter table combination rename column limite to limit 心得