• 选择分桶字段和计算分桶的正确方法


    一、 选出合理的分桶字段。
    可以拿 (字段中重复值最多的记录数/表的总记录数) 的值作为是否可以作为分桶字段的依据。
        查询字段中重复值最多的记录数:
    COL_COUNT=select column1,count(1)  cnt from table_name group by column1 order by cnt desc limit 1;
        查询表的总记录数
    TOTAL_COUNT=select count(1) from table_name;
    如果COL_COUNT/ TOTAL_COUNT的值小于5%,或者COL_COUNT的值在100万以下,那么该字段可作为分桶字段。
    特别的,如果一个表中确实找不到分布均匀的字段作为分桶,可以单独对表追加一个唯一ID作为分桶字段。
    以a)中PIMS_PMART2.TB_FCT_VIP_S_DET_FL_M表为例,通过对该表每个字段做分析发现,custcd 这个字段COL_COUNT= 2114438 ,TOTAL_COUNT=2357030761 ,两者比值仅为0.09% ,非常适合作为分桶字段。
     
    在所有的字段中,根据字段的设计,优先找一些看起来会是散列分布的字段,执行计算公式,来确定是否适合作为分桶字段。
    select cs_order_number, count(1)  cnt from test_orc.holo_catalog_sales_orc group by cs_order_number order by cnt desc limit 1;  -- 14
    select count(1) from test_orc.holo_catalog_sales_orc;  -- 2880058
     
    二、 算出合理的分桶数
    PIMS_PMART2.TB_FCT_VIP_S_DET_FL_M该表已经存在数据的分区每个分区约60000万条记录,TXT格式8000MB。根据2.2.2提到的计算方法,
    分桶数=MAX(60000万/1000万, 8000M/500M) = 60
    为了使数据分布更加均匀,我们一般建议选择质数作为分桶数。所以该表的最佳分桶数为59或61。
     
    根据数据量,考虑实际的分桶最佳值,此外也要根据计算的时候,需要的task数据量。
    CREATE  TABLE test_orc.catalog_sales(
      cs_sold_date_sk int DEFAULT NULL COMMENT '  ',
      cs_sold_time_sk int DEFAULT NULL COMMENT '  ',
      cs_ship_date_sk int DEFAULT NULL COMMENT '  ',
      cs_bill_customer_sk int DEFAULT NULL COMMENT '  ',
      cs_bill_cdemo_sk int DEFAULT NULL COMMENT '  ',
      cs_bill_hdemo_sk int DEFAULT NULL COMMENT '  ',
      cs_bill_addr_sk int DEFAULT NULL COMMENT '  ',
      cs_ship_customer_sk int DEFAULT NULL COMMENT '  ',
      cs_ship_cdemo_sk int DEFAULT NULL COMMENT '  ',
      cs_ship_hdemo_sk int DEFAULT NULL COMMENT '  ',
      cs_ship_addr_sk int DEFAULT NULL COMMENT '  ',
      cs_call_center_sk int DEFAULT NULL COMMENT '  ',
      cs_catalog_page_sk int DEFAULT NULL COMMENT '  ',
      cs_ship_mode_sk int DEFAULT NULL COMMENT '  ',
      cs_warehouse_sk int DEFAULT NULL COMMENT '  ',
      cs_item_sk int DEFAULT NULL COMMENT '  ',
      cs_promo_sk int DEFAULT NULL COMMENT '  ',
      cs_order_number int DEFAULT NULL COMMENT '  ',
      cs_quantity int DEFAULT NULL COMMENT '  ',
      cs_wholesale_cost float DEFAULT NULL COMMENT '  ',
      cs_list_price float DEFAULT NULL COMMENT '  ',
      cs_sales_price float DEFAULT NULL COMMENT '  ',
      cs_ext_discount_amt float DEFAULT NULL COMMENT '  ',
      cs_ext_sales_price float DEFAULT NULL COMMENT '  ',
      cs_ext_wholesale_cost float DEFAULT NULL COMMENT '  ',
      cs_ext_list_price float DEFAULT NULL COMMENT '  ',
      cs_ext_tax float DEFAULT NULL COMMENT '  ',
      cs_coupon_amt float DEFAULT NULL COMMENT '  ',
      cs_ext_ship_cost float DEFAULT NULL COMMENT '  ',
      cs_net_paid float DEFAULT NULL COMMENT '  ',
      cs_net_paid_inc_tax float DEFAULT NULL COMMENT '  ',
      cs_net_paid_inc_ship float DEFAULT NULL COMMENT '  ',
      cs_net_paid_inc_ship_tax float DEFAULT NULL COMMENT '  ',
      cs_net_profit float DEFAULT NULL COMMENT '  '
    )
    clustered by (cs_order_number) into 5 buckets
    stored as orc ;
  • 相关阅读:
    SQLite字符串拼接
    锐化
    《面向模式的软件体系结构1模式系统》读书笔记(2) 映像模式
    SQLite的Pivot
    《面向模式的软件体系结构1模式系统》读书笔记(3) 设计模式
    《面向模式的软件体系结构1模式系统》读书笔记(1) 适应性系统和微核模式
    MMX 初体验
    平滑
    英语人名书写规则 Anny
    How to resolve USB device is disabled in Ubuntu Virtualbox Anny
  • 原文地址:https://www.cnblogs.com/yfb918/p/10414339.html
Copyright © 2020-2023  润新知