• DataWorks使用小结(二)——功能面板使用指南


     一、数据开发

      1.任务开发

        新建表

          野路子可以直接新建一个任务,粘贴DDL,手动运行任务即可完成建表

          正常应当是在“数据管理”->数据表管理中建表:

          

          支持可视化建表和DDL建表(配合之前的宏,建表还是很快的)

        当然,这种方式的局限也很明显,一是稍显繁琐,二是不能同时运行多个任务,三是不能保存建表脚本(每次都得去查找数据中找到建表DDL)

        改进的方式是使用ODPS_SQL脚本,脚本开发,下文介绍

        查看表

          在数据管理->查找数据中可以查看表的信息,包括字段信息、血缘信息、导出建表DDL等

        操作任务

          新建任务就不赘述了(主要任务类型包括SQL任务以及数据同步任务用于将其他数据源同步到ODPS),保存和提交任务不赘述,(只有提交的任务才会进入调度系统被调度,可以在运维中心看到)

        查看历史版本

          (之前还傻傻的本地保存历史版本),所有提交过的任务,都会有历史版本(可以方便回退):

          

        不仅可以查看,还可以比对历史版本

        克隆任务

          会将调度属性一起克隆

        运行任务时,明明输入了系统参数,却还要手动输入值?参考常见问题运行与测试运行

       2.调度配置

        周期配置

          支持从小时到月级别的周期调度配置(周期调度时间优先级小于依赖优先级,也就是即使到了时间,如果上游依赖任务没成功,也不会跑)

        提交任务后,调度系统会在第二天开始按照不同的周期配置进行调度运行

          周、月调度任务中,在非调度日会“空跑”直接置为成功,例如周调度为每周一,则周二到周日直接置为成功

        参数配置

          参考官网;参数配置

        依赖关系

          依赖关系也实在任务属性中进行配置:

          

        主要包括跨周期依赖和普通依赖两种依赖

       3.脚本开发

        脚本开发主要用于辅助数据开发,比如临时数据的增删改查,不需要调度属性与依赖关系,老版本脚本开发在左上:

        

        脚本只能在页面上主动点击运行,仅限页面上!

      开发规范https://help.aliyun.com/document_detail/85305.html?spm=a2c4g.11186623.6.613.6d125c323GSg4u

      修改版:

        https://www.cnblogs.com/jiangbei/p/10647743.html

       4.资源与函数管理

        上传资源

          资源管理的位置:

          

          在资源管理中右键上传资源,选定需要的类型即可

        其他资源操作不再赘述

        函数管理

          系统函数不再赘述

          UDF流程:本地开发Java代码打包为jar->上传Jar到ODPS资源->新建函数与Jar关联(务必写上函数命令格式与相关注释)->使用函数

          创建UDF后一般可以先用脚本来测试一下

      5.发布管理

        发布管理概述参考官网描述,常用来隔离开发与生产

        在项目管理面板可以配置发布目标项目

        提交以后便可以在创建发布包中进行发布到目标项目

        节点代码也阔以进行版本管理

    二、数据管理

      查看表的一些信息,包括列信息、分区信息(分区值)、生成建表语句等,非常方便!

      但是注意他有一个致命的缺点!非实时更新!实时更新的请写脚本查询,例如查看分区:

    list partitions tb
  • 相关阅读:
    hadoop脑裂
    磁盘动态扩容
    zookeeper快照清理
    hadoop rebalance
    redis
    斜率场--微分方程图形解
    simpson法计算arctan(1)-即pi/4
    反函数的导数
    动能公式推导
    schwarz( 施瓦兹)不等式证明
  • 原文地址:https://www.cnblogs.com/jiangbei/p/9543652.html
Copyright © 2020-2023  润新知