• 关于在hue当中调shell脚本的操作(这里的shell 脚本是在shell脚本当中嵌套shell脚本的操作使用source的方式)


    这两天在做数据的导入操作,为了方便数据的导入我们采用sqoop的方式将数据导入。但是在表很多的情况下,在hue当中部署工作流就是一件很麻烦的事情,

    然后想着能不能通过shell脚本调shell脚本的方式实现在一个shell脚本当中就可以实现对多个导入操作脚本的调用。

    操作脚本如下:

    #!/bin/bash
    #sh ./import_com_organization.sh
    source ./import_com_organization.sh
    #. ./import_com_organization.sh  
    echo "success"
    exit 0  
    这三种方式都可以实现对数据的导入操作,我这里是使用oozie的方式实现对脚本的调度操作。下面这个是sqoop的导入脚本,这个可以自己按照自己的要求去编写
    这里需要注意几个问题,在这里被调用的脚本必须和住脚本的路径一直。要不然一直报找不到路径,类似下面的这种找不到路径。这里我试了一下使用决绝路径都是不可以的,一直报路径或者文件存在。这设计真是不合理
    两个文件还必须在同一目录下面。

     下面说一下这种脚本在hue当中部署oozie的具体操作;

    (1)将写好的脚本主脚本和被调用的脚本上传到同一目录下:

    (2)然后部署工作流

     接下来在yarn上面我们能看到oozie启动的laucher和action操作。

     等待执行完成之后。查看结果即可。

    参考文档: https://blog.csdn.net/adshiye/article/details/84311890

  • 相关阅读:
    ZTUnity Profiler概述及Profiler window 说明
    利用反射球实现镜面效果
    (乱入)FingerGesture
    生成万花筒效果并截图
    (六)添加adb命令
    超时处理
    判断是否存在UI被触摸
    UI控件拖动失效
    (五)Unity插件生成
    (四)适配器Adapter
  • 原文地址:https://www.cnblogs.com/gxgd/p/10221303.html
Copyright © 2020-2023  润新知