• kettle与sqoop的比较


    Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。
    Sqoop主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递

    kettle有图形化的操作界面,只需要描述你想做什么,而不是你想怎么做。
    sqoop没有图形化界面,具体的数据流向需要手工配置。

    kettle底层使用多线程以提高效率
    Sqoop专为大数据批量传输设计,能够分割数据集并创建Hadoop任务来处理每个区块。

    kettle可以利用transformation在数据传输过程中对数据的一些转换处理
    Sqoop只是一个用来将Hadoop和关系型数据库中的数据相互转移的工具

    kettle数据的具体流向可以指定,可以是各种数据的存储工具
    sqoop只是完成hdfs到关系型数据库 或者 关系型数据库到hdfs的数据传输,在传输的过程中保证传输数据的类型

  • 相关阅读:
    MFC中的菜单(Menu)
    MFC中获取系统无任何操作的时间
    MFC中使用快捷键Accelerator
    Git的安装和使用
    给pdf添加目录
    练习题2
    练习题1
    主键和外键
    数据库知识点
    多表查询
  • 原文地址:https://www.cnblogs.com/hejianxin/p/8397931.html
Copyright © 2020-2023  润新知