• 元数据


    1 元数据概述

    阿里常见的技术元数据:

    1 分布式计算系统存储元数据,如MaxCompute表、列、分区等信息。记录了表的表名、分区信息、责任人信息、文件大小、表类型、生命周期,以及列的字段名、字段类型、字段备注、是否是分区字段等系统。

    2 分布式计算系统运行元数据,如MaxCompute上所有作业运行等信息;类似于Hive的Job日志,包括作业类型、实例名称、输入输出、SQL、运行参数、执行时间、最细粒度的Fuxi Instance(如MaxCompute中MR执行的最小单元)执行信息等。

    3 数据开发平台中数据同步、计算任务、任务调度等信息,包括数据同步的输入输出表和字段,以及同步任务本身的节点信息;任务调度主要有任务的依赖类型、依赖关系等,以及不同类型调度任务的运行日志等。

    4 数据质量和运维相关元数据,如任务监控、运维报警、数据质量、故障等信息,包括任务监控运行日志、告警配置及运行日志、故障信息等。

    阿里常有业务元数据:

    1 OneData元数据,如维度及属性、业务过程、指标等的规范化定义,用于更好地管理和使用数据。

    2 数据应用元数据,如数据报表、数据产品等的配置和运行元数据。

    统一元数据体系建设思路如图12.1

    2 元数据应用

  • 相关阅读:
    c内存结构
    Linux普通文件和设备的异同点
    二分查找在字符串中的应用范例
    快排的一种相当简单但不算最快的实现方式
    C程序的存储空间布局
    exit与_exit
    /proc文件系统
    Linux下监控磁盘空间的四个命令
    linux下监控进程需掌握的四个命令
    linux终端下文件不同颜色的含义
  • 原文地址:https://www.cnblogs.com/yulu080808/p/8782979.html
Copyright © 2020-2023  润新知