Atlas
作用: 记录并展示Hive表字段含义,以及表和字段之间的数据血缘关系。
局限: 依赖HBase和solr。
Azkaban
作用: 实现任务流执行,满足任务间依赖关系。
局限: 任务能添加依赖的任务,但是不能传参数,任务流中任意一条路线断了,不能这条路线重启执行。
作用: 记录并展示Hive表字段含义,以及表和字段之间的数据血缘关系。
局限: 依赖HBase和solr。
作用: 实现任务流执行,满足任务间依赖关系。
局限: 任务能添加依赖的任务,但是不能传参数,任务流中任意一条路线断了,不能这条路线重启执行。