有没有懂Etl的有问题请教他人大神们

点击联系发帖人 时间：2019-05-20 04:26

请教他人

- 大数据 Hadoop 讲师 Hadoop入门课程地址：/course/39　有架构师技术总监，CTO的职位请联系我！

kettle只是一个工具对于一个工具的使用来说，无非就是内存CPU，磁盘IO网络带宽等几个主要的方面。
泹是对于一个ETL过程来说优化的内容就非常多了，不限于以下的方面：
1.ETL处理流程优化
2.源数据库表抽取优化
以上，有更多的方面随时补充

}

全凭经验手打,大致不会错

2.3主进程串行,优先级最高, 不影响主进程的job并行执行

5.设定每个job最晚应该结束的时间,不然短信报警通知值班人员

6.这个自己备份好脚本就好,以防万一.

7.没一個job之间的关联性要很清楚的了解,才能按正确的顺序设置每个job的dependency

8.这个根据项目具体情况看,需要对逻辑很熟悉,一般项目经理决定

9.过于繁忙可以讓后续job hold住,减少服务器的负载,需要人为控制

}

你对这个回答的评价是

下载百喥知道APP，抢鲜体验

使用百度知道APP立即抢鲜体验。你的手机镜头里或许有别人想知道的答案

}

有没有懂Etl的 有问题请教他人大神们