• SQL 转置计算


    转置即旋转数据表的横纵方向,常用来改变数据布局,以便用新的角度观察。有些转置算法比较简单,比如行转列、列转行、双向转置;有些算法变化较多,比如动态转置、转置时跨行计算、关联转置等。这些转置算法对日常工作多有助益,值得我们学习讨论。

    基础转置

    行转列和列转行是最简单的转置算法,形式上互为逆运算,具体请看下面的问题及分析过程:

    1.行转列:将销量分组表的quater字段里的值(行)Q1-Q4,转为新字段名(列)Q1-Q4,如下:

    year quarter amount   ----> year Q1 Q2 Q3 Q4
    year2018 Q1 89     year2018 89 93 88 99
    year2018 Q2 93     year2019 92 97 90 88
    year2018 Q3 88              
    year2018 Q4 99              
    year2019 Q1 92              
    year2019 Q2 97            
    year2019 Q3 90              
    year2019 Q4 88              

    2.列转行:将销量交叉表的字段名Q1-Q4,转为新字段quarter里的值Q1-Q4,如下:

    Year Q1 Q2 Q3 Q4   ----> year quarter amount
    year2018 89 93 88 99     year2018 Q1 89
    year2019 92 97 90 88     year2018 Q2 93
                  year2018 Q3 88
                  year2018 Q4 99
                  year2019 Q1 92
                  year2019 Q2 97
                  year2019 Q3 90
                  year2019 Q4 88

     

    早期SQL的解决方案

    对于行转列,早期的SQL没有pivot之类的专用函数(MySQL、HSQLDB等数据库现在也没有),这种情况下只能用多个基本函数的组合来实现行转列,同一个问题往往有多种实现方法。

    方法1:case when子查询+分组汇总

    /*mysql*/

    Select year, max(Q1) 'Q1',  max(Q2)   'Q2',  max (Q3) 'Q3', max (Q4) 'Q4'

     from   (

                    select year,

                    case when   quarter = 'Q1' then amount end Q1,

                    case when   quarter = 'Q2' then amount end Q2,

                    case when   quarter = 'Q3' then amount end Q3,

                    case when   quarter = 'Q4' then amount end Q4

                    from zz11

    ) t  group by year;

    方法2:sum if+分组汇总:

    /*mysql*/

    SELECT year,

        MAX(IF(quarter = 'Q1',   amount, null)) AS 'Q1',

        MAX (IF(quarter = 'Q2',   amount, null)) AS 'Q2',

        MAX (IF(quarter = 'Q3',   amount, null)) AS 'Q3',

        MAX (IF(quarter = 'Q4', amount, null)) AS   'Q4'

     FROM zz11 GROUP BY year;

    其他方法还有 WITH ROLLUP+分组汇总或UNION+分组汇总等,这里不一一列举。这些方法表面各异,但本质其实都差不多,都是用分组的方法算出year的值,用枚举的方法依次生成新列Q1-Q4,同时用汇总的方式生成新列的值。

    可以看到,即使最基础最简单的转置,早期SQL的代码也很长。原因在于,每个新列都要枚举出来,新列越多,代码就越长。如果新列是12个月、各州各省,可以想象SQL会更长。

    只要新列是已知的,用笨办法总能枚举出来,所以新列多只会影响代码长度,并不会影响难度。如果新列是未知的,想枚举就困难多了。比如:大客户名单经常变动,需要将动态的大客名单由行转为列。遇到这种情况,SQL就很难解决了,通常要求助存储过程JAVA等语言工具,代码难度和维护难度都会陡然提升。

    上面SQL其实还有个毛病:汇总算法难以理解。原表每年每季度只有一条数据,所以原本是不必汇总的,但因为计算year列需要分组,而SQL规定分组的同时必须汇总,所以必须对每年每季度的一条数据进行难以理解的汇总。因为这里的汇总毫无意义,所以汇总算法可以随便选,并不影响计算结果,比如将max换成sum。

    SQL之所以规定分组的同时必须汇总,是因为集合化不彻底的缘故。具体来说,SQL只能表达多条记录组成的小集合,而没有语法或符号表达多个小集合组成的大集合,一旦遇到后者,比如分组的情况,就必须立刻汇总,让每个小集合变成一条记录,从而转变成前者。

    列转行不涉及难以理解的汇总,早期SQL的思路相对简单,只需按列名依次取出Q1-Q4的记录,再用union拼起来就行,具体写法如下:

    select year, 'Q1' quarter , Q1 as amount from zz111

    union

    select year, 'Q2' quarter , Q2 as amount from zz111

    union

    select year, 'Q3' quarter , Q3 as amount from zz111

    union

    select year, 'Q4' quarter , Q4 as amount from zz111

            列转行虽然思路简单,但因为要枚举组内新行,比如季度、月份、省份,所以代码依然会很长。值得庆幸的是,组内新行来自原表列名(字段名),而原表列名通常固定,所以一般不存在动态计算的情况,算法也不会太复杂。

    引入pivot/unpivot函数

             早期SQL实现转置确实不够方便,所以数据库厂商近几年推出专用函数,试图让用户更方便地实现转置。

    用pivot实现行转列:

    /*oracle*/

    select * from zz111

                  pivot(

                            max(amount)   for quarter in(

                                           'Q1'as Q1,'Q2' as Q2,'Q3' as   Q3,'Q4' as Q4

                            )

                  )

    仔细观察就会发现,pivot的确让代码缩短了不少,但并没解决本质问题,早期SQL存在的那些问题,现在一个都不少。

    首先,pivot不能解决动态语法问题,所以遇到动态新列,依然要依靠存储过程/JAVA,开发难度和维护难度依然很大。

    其次,pivot不能解决SQL集合问题,依然要用汇总去解决和汇总毫无关系的问题。对新手来说,这是难以理解的知识点,恳请留意。

    在某些特殊情况下,汇总也是有意义的,比如销量分组表另有一个字段customer,使每年每季度的数据有多条,在这种情况下需要行转列,并计算每年每季度amount最大的值。如下:

    customer year quarter amount     year Q1 Q2 Q3 Q4
    companyA year2018 Q1 89   ----> year2018 89 93 88 100
    companyB year2018 Q1 100     year2019 92 97 90 88
    companyA year2018 Q2 93              
    companyB year2018 Q3 88              
    companyC year2018 Q4 99              
    companyD year2019 Q1 92              
    companyE year2019 Q2 97              
    companyF year2019 Q3 90              
    companyG year2019 Q4 88              

    在这种特殊情况下,使用汇总才是真正合理的,合理到核心代码都不用改:

    /*oracle*/

    select * from (select year,quarter,amount from zz111)

                  pivot(

                             max(amount)   for quarter in(

                                        'Q1'as Q1,'Q2' as Q2,'Q3' as   Q3,'Q4' as Q4

                               )

                  )

    可以看到,上述特殊情况实际上不是字面意义上的“行转列”,而是“分组汇总后再行转列”。也许有些初学者会有疑问:这明明是两种不同的算法,为何会使用相同的核心代码?但读过前文的人就会明白,这是SQL集合化不彻底的缘故。

    相对而言,列转行函数unpivot就好理解多了:

    select * from zz111

                   unpivot(

                           amount for   quarter in(

                                    Q1,Q2,Q3,Q4

                           )

                    )

             可以看到,unpivot不仅可以解决代码冗长的问题,而且由于不涉及汇总,所以理解起来也很容易。另外列转行很少遇到动态取列名的需求,因此基础算法不会发生太复杂的变化。可以这样说,unpivot是个相对成功的函数。

    双向转置

    双向转置可以理解为行列互换或镜像,通常来说,交叉表的双向转置才有意义。

    3.将年度-季度销售表转置为季度-年度销售表,即将year的值转为新列名year2018、year2019,同时将列名Q1-Q4转为新列quarter的值。

    如下所示:

    Year Q1 Q2 Q3 Q4      ----> quarter year2018 year2019
    year2018 89 93 88 99   Q1 89 92
    year2019 92 97 90 88   Q2 93 97
                Q3 88 90
                Q4 99 88

            双向转置的实现思路就写在名字里,即先对Q1-Q4执行列转行,再对year2018、year2019执行行转列。如果用小型数据库实现,代码会是下面这样:

    /*mysql*/

    select quarter,

        max(IF(year = 'year2018',   amount, null)) AS 'year2018',

        max(IF(year = 'year2019',   amount, null)) AS 'year2019'

    from (

            select year, 'Q1'   quarter , Q1 as amount from crosstb

            union

            select year, 'Q2'   quarter , Q2 as amount from crosstb

            union

            select year, 'Q3'   quarter , Q3 as amount from crosstb

            union

            select year, 'Q4'   quarter , Q4 as amount from crosstb

    ) t

    group by quarter

    上述代码包含了行转列和列转行两种算法,所以也兼具了两者的缺点,比如代码冗长、不支持动态行、汇总算法难理解。这里需要注意的是,JAVAC++等过程性语言擅长多步骤计算,代码的复杂度和代码长度可视为线性关系,SQL则不同,很难分步骤分模块或断点调试,这就导致SQL的复杂度随代码长度呈指数增长。总之,你会发现双向转置要比它表面看起来更难实现。

    上面的算法是先列转行再行转列,理论上似乎也可以反过来,即先行转列再列转行,但实际上并非如此。如果先行转列,就会导致子查询的数量从1个增加到4个(由union导致),不仅代码更长,而且性能更差。当然,如果用支持with 语句的Oracle等数据库,反过来就没问题。

    事实上,如果不是小型数据库,而是Oracle或MSSQL,那直接pivot、unpivot联用就可以了,用不到with语句。代码如下:

    /*Oracle*/

    select * from(

            select * from crosstb unpivot(

                    amount for   quarter in(

                              Q1,Q2,Q3,Q4

                    )

            )

    ) pivot(

            max(amount) for year   in(

                     'year2018' as   year2018,'year2019' as year2019

            )

    ) order by quarter      

    上述代码思路更清晰,但由于子查询难以调试难以按独立步骤运行,所以理解起来并不会太轻松。另外列转行的顺序是不可控的,为了让quarter列按Q1-Q4的固定顺序排列,最后必须用order by排序。可以想象,如果需要自定义顺序(比如0、a、1),则需要造假表并关联该假表,难度会大幅提升。

    Pivot/unpivot其实还有个共同的问题,也请初学者注意:这类函数并非ANSI规范,所以各厂商语法区别较大,迁移时比较困难。

    动态转置    

    前面简单提到过动态转置,这里再具体解释一下:由于待转置的值不是固定的,而是会动态增减的,所以转换后的行或列也不是固定的,而是要动态计算,这种算法就是动态转置。

    4.动态行转列:部门-地区平均工资表中的地区会随着业务拓展而增加,请将地区字段的值(行)转为新字段名(列)。

    如下图:

    Dept Area AvgSalary     ----> Dept Beijing Shanghai ...
    Sales Beijing 3100   Sales 3100 2700  
    Marketing Beijing 3300   Marketing 3300 2400  
    HR Beijing 3200   HR 3200 2900  
    Sales Shanghai 2700          
    Marketing Shanghai 2400          
    HR Shanghai 2900          
                 

    乍一看,这个问题应该可以用pivot解决,只须在in里用子查询动态取得地区的唯一值,比如:

    /*Oracle 11*/

    select * from temp pivot (

        max(AvgSalary) for Area in(

              select distinct Area   from temp

        )

    )

    上述语句看上去很合理,但实际上,pivot里的in函数和一般的in函数不同,一般的in函数里的确可以用子查询,但pivot的in函数不能直接支持子查询。

    要想直接支持子查询,必须使用古怪的xml关键字,即:

    /*Oracle 11*/

    select * from temp pivot xml(

        max(AvgSalary) for Area in(

              select distinct Area   from temp

        )

    )

    这样就会产生一个古怪的中间结果集,该结果集含有2个字段,其中一个字段的类型是XML,如下所示。

    Dept Area_XML
    HR <PivotSet><item><column name =   "AREA">Beijing</column><column name =   "MAX(AVGSALARY)">3200</column></item><item><column   name = "AREA">Shanghai</column><column name = "MAX(AVGSALARY)">3200</column></item></PivotSet>
    Marketing <PivotSet><item><column name =   "AREA">Beijing</column><column name =   "MAX(AVGSALARY)">3300</column></item><item><column   name = "AREA">Shanghai</column><column name =   "MAX(AVGSALARY)">2400</column></item></PivotSet>
    Sales <PivotSet><item><column name =   "AREA">Beijing</column><column name =   "MAX(AVGSALARY)">3100</column></item><item><column   name = "AREA">Shanghai</column><column name =   "MAX(AVGSALARY)">2700</column></item></PivotSet>

    对于上述中间结果集,还需要动态解析XML,获得AREA的节点,并动态生成表结构,再动态填入数据,才能算出我们的目标。只用SQL已经无法实现此类动态算法,后续代码必须用JAVA或存储过程嵌入SQL才行,最终代码很长,放在文中影响阅读,这里就不贴了。

    5.组内记录行转列:收入来源表中,逻辑上Name是分组字段, Source和Income是组内字段,每个Name对应多条组内记录,数量不固定,现在要将组内记录由行转列。

    如下所示:

    Name Source Income ----> Category Source1 Income1 Source2 Income2
    David Salary 8000   David Salary 8000 Bonus 15000
    David Bonus 15000   Daniel Salary 9000    
    Daniel Salary 9000   Andrew Shares 26000 Sales 23000
    Andrew Shares 26000   Robert Bonus 13000    
    Andrew Sales 23000            
    Robert Bonus 13000            

    本算法的整体思路很清晰:先生成结果表的表结构,再向结果表插入数据,最后输出结果表。

    思路虽然清晰,但实际代码非常繁琐,这是因为代码中大量涉及动态语法,包括嵌套循环中的动态语法,而SQL本身不支持动态语法。为了弥补SQL的缺陷,只能用其他语言配合SQL,比如JAVA或存储过程。这些语言不擅长结构化计算,却非要实现结构化算法,代码必然冗长。有兴趣的可按如下步骤实现 :

    1.       计算出结果表应该有几组组内字段(colN),即对源表按Name分组,求各组记录数,进而求最大的记录数。上表中David和Andrew的记录数最多,有2条,所以colN=2。通过colN,很容易计算出动态列的列名colNames。

    2.       动态生成建结果表的SQL字符串(cStr)。难点在于循环colN次,每次都要生成一组组内字段,所有字段包括1个固定列+2*colN个动态列(如图)。

    3.       动态执行上述字符串,生成临时表。代码形如:execute immediate cStr;

    4.       计算结果表应该插入的关键字列表(rowKeys),即对源表按Name去重。上表中rowKeys=["David","Daniel","Andrew","Robert"]

    5.       循环rowKeys,每次动态生成向结果表插入记录的SQL字符串iStr,并动态执行。生成iStr时,先根据当前Name查询源表,以获得对应的记录列表,这里要动态生成SQL并动态执行。接下来循环该记录列表,拼凑出iStr并执行,从而完成一次循环。

    6.       查询结果表,返回数据。

    可以想象,如果SQL支持动态语法,或者JAVA/存储过程内置结构化函数库(脱离SQL),那实际的代码就会精简很多 。

    还应该注意到,上面第4步的算法是对Name去重,去重相当于分组后求分组字段的值,而第1步的算法是分组后求各组记录数。这两步同时有分组的动作,理论上是可以复用的,但由于SQL的集合化不彻底,分组的同时必须强制汇总,所以无法复用分组的结果。如果数据量小,能否复用并不重要,最多就是代码丑不丑的问题,而一旦遇到数据量较大或多处复用的算法,能否复用就决定性能高低了。

    6. 复杂静态行列转置:每人每天在考勤表有7条固定记录,需要将其转置为2条,其中第1条的In、Out、Break、Return字段值分别对应原表的第1、7、2、3条的Time字段值,第2条对应原表的1、7、5、6的Time字段值。

    如下所示:

    原表

    Per_Code in_out Date Time Type
    1110263 1 2013-10-11 09:17:14 In
    1110263 6 2013-10-11 11:37:00 Break
    1110263 5 2013-10-11 11:38:21 Return
    1110263 0 2013-10-11 11:43:21 NULL
    1110263 6 2013-10-11 13:21:30 Break
    1110263 5 2013-10-11 14:25:58 Return
    1110263 2 2013-10-11 18:28:55 Out

    转置后目标表

    Per_Code Date In Out Break Return
    1110263 2013-10-11 09:17:14 18:28:55 11:37:00 11:38:21
    1110263 2013-10-11 09:17:14 18:28:55 13:21:30 14:25:58

    由于转置后列数固定,无须动态算法,因此可用SQL实现本算法,具体如下:

    With r as(

      select Per_code,Date,Time,row_number()  over(partition by Per_Code,Date order by Time) rn from temp)

    select Per_code,Date,

    max(case when rn=1   then Time end) In,

    max(case when rn=7   then Time end) Out,

    max(case when rn=2   then Time end) Break,

    max(case when rn=3   then Time end) Return

    from r group by   Per_code,Date

    union

    select Per_code,Date,

    max(case when rn=1   then Time end) In,

    max(case when rn=7   then Time end) Out,

    max(case when rn=5   then Time end) Break,

    max(case when rn=6   then Time end) Return

    from r group by   Per_code,Date

    SQL集合无序,所以不能用序号引用记录,而本算法又需要序号,所以我们不得不人为制造一个序号,即上述代码中的with子句。有了序号之后,取数据就方便多了。至于明明没有汇总算法,却硬要max,这是SQL集合化不彻底的缘故,前面已经解释过这种现象。

    7复杂动态行列转置:用户表和记录表通过用户ID关联,表示用户在2018年某日存在一条活动记录。现在需要计算出2018年的每周,各用户是否存在活动记录,用户名需转置为列。

    如下所示:

    源表结构

    User   Record
    ID(pk)      1:N----> ID(pk)
    Name   Date(pk)

     转置后目标表的数据

    Week User1 User2 User3
    1 Yes No Yes
    2 Yes Yes No
    3 Yes No Yes
    4 No Yes Yes

    由于列是动态的,所以只能用存储过程/JAVA+动态SQL的方法实现,代码很长,这里照例不贴,下面只讲思路。

    要实现上述算法,需要先进行准备工作:将用户表和记录表关联起来;新加计算列,算出Date字段值相对于2018-01-01的周数,最大不应超过53;对周数求最大值,可获得目标表的关键字列表rowKeys;对关联表去重,计算出目标表新增的列名colNames。

    接下来是动态转置算法:用colNames动态生成建目标表的SQL,再动态执行SQL;循环rowKeys,每次循环时先从关联表取数据,再动态生成Insert SQL,再动态执行SQL。

    上述动态转置算法前面也见到过,事实上,凡此类涉及动态列的转置,都有个动态生成目标表结构,再动态插入数据的过程。这个算法难度较大,这既是SQL缺乏动态语言能力的表现,也是我们不得不求助于JAVA/存储过程的根本原因。后面遇到类似的情况,我会用“动态转置”直接带过。

    转置同时列间计算

    前面都是单纯的转置,作为习题比较合适,在实际工作中,转置的同时通常会附带其他计算,比如列之间的计算。

    8表Temp存储2014年每个客户每个月的应付款情况,现在要将其转置,客户名为主键(关键字)列,1-12月为转置列,对应的值为当月应付款金额,如果当月无数据,则用上月的应付款金额。

    如下所示:

    源表

    ID Name amount_payable due_date
    112101 CA 12800 2014-02-21
    112102 CA 3500 2014-06-15
    112104 LA 25000 2014-01-12
    112105 LA 20000 2014-11-15
    112106 LA 8000 2014-12-06

    转置后目标表

    name 1 2 3 4 5 6 7 8 9 10 11 12
    CA   12800 12800 12800 12800 3500 3500 3500 3500 3500 3500 3500
    LA 25000 25000 25000 25000 25000 25000 25000 25000 25000 25000 20000 8000

    因为转置后的列是固定的,所以可以用SQL解决,大致思路是:造一个包含单字段month,值为1-12的临时表t1;通过源表的日期算出月份,字段名也是month;用这两个表进行左关联,造出连续的应付款记录,注意这里有很多数据无效;使用pivot实现行转列,用min汇总去除无效数据。具体SQL如下:

    With t2 as(select   name,amount_payable,EXTRACT(MONTH from dule_date) month from temp

    )

    ,t1 as(SELECT rownum   month FROM dual CONNECT BY LEVEL <= 12

    )

    ,t3 as(select   t2.name,t2.amount_payable,t1.month from t1 left join t2 on   t1.month>=t2.month

    )

     select * from t3  pivot(min(amount_payable) for month in(1 as   "1",2 as "2",3 as "3",4 as "4",5 as   "5",6 as "6",7 as "7",8 as "8",9 as   "9",10 as "10",11 as "11",12 as   "12"))

    上述SQL不长,但是很难理解,尤其是造无效数据这一古怪算法。之所以出现这种情况,是因为SQL集合本身没有序号,也不擅长有序计算,尤其是行间计算,只能采取一些古怪的手段去间接实现。

    表间关联列转行

    9子表动态插入主表:订单表和订单明细是主子关系,一条订单对应至少一条明细,现在要将明细动态插入订单,如下所示:

    源表关系

    Order      ----> OrderDetail
    ID(pk)   OrderID(PK)
    Customer   Number(pk)
    Date   Product
        Amount

    转置后目标表

    ID Customer Date Product1 Amount1 Product2 Amount2 Product3 Amount3
    1 3 2019-01-01 Apple 5 Milk 3 Salt 1
    2 5 2019-01-02 Beef 2 Pork 4    
    3 2 2019-01-02 Pizza 3        

    由于列是动态的,所以只能用存储过程/JAVA+动态SQL的方法实现,大致思路是:先把两表关联起来;对关联表(或子表)按ID分组,求各组记录数,求最大值,从而算出目标表的动态列列表colNames;对关联表(或主表)的ID去重,算出目标表的主键列表rowKeys;根据colNames和rowKeys实现动态转置算法。

    10多表关联列转行: 考试成绩表Exam和补考成绩Retest表都是Students的子表,现在需要将两个子表转置到主表的列,且增加一个总分,注意考试的科目不定,且并非每个人都会补考,但考试的科目一定包含了补考科目。

    源表数据及关系

    Exam table   <----1:N Students table   1:N ----> Retest table
    stu_id subject score   stu_id stu_name class_id   stu_id subject score
    1 Chinese 80   1 Ashley 301   2 Chinese 78
    1 Math 77   2 Rachel 301   3 Math 82
    2 Chinese 58   3 Emily 301        
    2 Math 67                
    3 Chinese 85                
    3 Math 56                

    转置后目标表

    stu_id stu_name Chinese_score Math_score total_score Chinese_retest Math_retest
    1 Ashley 80 77 156    
    2 Rachel 58 67 125 78  
    3 Emily 85 56 141   82

    如果科目固定,就可以用SQL解决,先将Students和Exam左关联并piovt,然后Retest和Exam左关联并pivot,最后再左关联一次。

    但每次考试的科目不固定,因此目标表的列是动态的,只能用存储过程/JAVA+动态SQL的方法实现,大致思路是:先将2表左关联至Students;对关联表按stu_id分组,求各组记录数,再求最大记录数,从而计算出目标表的动态列列表colNames;对关联表按stu_id去重,计算出目标表的主键列表rowKeys;根据colNames和rowKeys实现动态转置算法。

    分栏

    11源表记录各大洲的部分城市人口,现在要分别找出欧洲和非洲的城市和人口,分两栏横向转置,注意目标列是固定的,但源表行数是动态的。如下所示:

    Continent City Population ----> EuropeCity EuropePopulation AfricaCity EuropePopulation
    Africa Cairo 6789479   Moscow 8389200 Cairo 6789479
    Africa Kinshasa 5064000   London 7285000 Kinshasa 5064000
    Africa Alexandria 3328196       Alexandria 3328196
    Europe Moscow 8389200          
    Europe London 7285000          

    目标表的结构是固定的,可以用SQL解决,思路是:过滤出包含欧洲城市的记录,用rownum算出行号,作为计算列;类似地,过滤出包含非洲城市的记录;将两者进行full join,并取出所需字段。

    具体SQL如下:

    With t1 as(select city   Europecity,population Europepopulation,rownum rn from temp where   continent='Europe')

    ,t2 as(select city   Africacity,population Africapopulation,rownum rn from temp where   continent='Africa')

    select   t1.Europecity,t1.Europepopulation,t2.Africacity,t2.Africapopulation from t1   full join t2 on t1.rn=t2.rn

    总结

    通过上面的讨论可以发现,只有最简单的三种转置可以直接用piovt/unpivot实现,且仅限大型数据库,还需注意xml解析、结果集乱序,以及难以移植的问题。

    对于有一定难度的转置算法来说,如果列是固定的,通常就能用SQL解决,但代码通常很难写,需要熟知SQL的缺陷,并掌握各类古怪的技巧来弥补这些缺陷。前面遇到的缺陷包括:集合化不彻底、集合无序号、不擅长有序计算、难以分步计算、难以调试代码等。

    如果列是动态的,复杂程度将大幅上升,只能用JAVA/存储过程,代码将非常繁琐。事实上,不支持动态结构,也是SQL的重大缺陷。

    SQL的上述缺陷是个独特的历史现象,在其它计算机语言中并不存在,比如VBC++JAVA,甚至包括存储过程。当然,这些语言的集合计算能力比较弱,缺乏结构化计算类库,需要编写大量代码才能实现上述算法(指不嵌入SQL的情况)。

    采用esProc 的 SPL能更好地适应这些问题。esProc 是专业的数据计算引擎,基于有序集合设计,像SQL一样提供了完善的结构化函数,又和Java等语言类似天然支持分步计算,相当于 Java 和 SQL 优势的结合。使用SPL (替代Java)来配合SQL可以轻松解决上面的问题:

    1行转列,有类似的pivot函数

      A
    1 =connect("orcl").query@x("select * from T")
    2 =A1.pivot(year; quarter, amount)

    2列转行,有相当于unpivot的函数

      A
    1 =connect("orcl").query@x("select year,Q1,Q2,Q3,Q4 from T")
    2 =A1.pivot@r(year; quarter, amount)

    3双向转置,结合使用pivot及其逆

      A
    1 =connect("orcl").query@x("select year,Q1,Q2,Q3,Q4 from T")
    2 =A1.pivot@r(year;quarter,amount).pivot(quarter;year,amount)

    4动态行转列,SPL的pivot可以支持动态数据结构

      A
    1 =connect("orcl").query@x("select Dept,Area,AvgSalary   from T")
    2 =A1.pivot@r(year;quarter,amount).pivot(Dept; Area, AvgSalary)

    5组内记录行转列,分步计算并支持动态数据结构

      A B
    1 =orcl.query("select   Name,Source,Income from T")
    2 =gData=A1.group(Name)  
    3 =colN=gData.max(~.len())  
    4 =create(Name, ${colN.("Source"+string(~)+",   Income"+string(~)).concat@c()})
    5 for gData =A5. Name | A5.conj([Source,   Income])
    6   >A4.record(B5)

    6复杂静态行列转置,天然支持序号

      A B
    1 =connect("orcl").query@x("select * from DailyTime   order by Per_Code,Date,Time") =A1.group((#-1)7)
    2 =create(Per_Code,Date,In,Out,Break,Return) =B1.(~([1,7,2,3,1,7,5,6]))
    3 =B2.conj([~.Per_Code,~.Date]|~.(Time).m([1,2,3,4])|[~.Per_Code,~.Date]|~.(Time).m([5,6,7,8])) >A2.record(A3)

    7复杂动态行列转置

      A B
    1

    =connect("db").query("select   t1.ID as ID, t1.Name as Name, t2.Date as Date from User t1, Record t2 where   t1.ID=t2.ID")

    2 =A1.derive(interval@w("2018-01-01",Date)+1:Week) =A2.max(Week)
    3 =A2.group(ID) =B2.new(~:Week,${A3.(""No":"+Name).concat@c()})
    4 =A3.run(~.run(B3(Week).field(A3.#+1,"Yes")))  

    8转置同时列间计算

      A B
    1 =orcl.query@x("select name,amount_payable from T")
    2 =create(name,${12.string@d()}) =A1.group(customID)
    3 for B2 =12.(null)
    4   >A3.run(B3(month(due_date))=   amount_payable)
    5   >B3.run(~=ifn(~,~[-1]))
    6   =A2.record(B2.name|B3)

    9子表动态插入主表

      A B
    1 =orcl.query@x("select * from OrderDetail left join Order on   Order.ID=OrderDetail.OrderID")
    2 =A1.group(ID) =A2.max(~.count()).("Product"+string(~)+","+"Amount"+string(~)).concat@c()
    3 =create(ID,Customer,Date,${B2}) >A2.run(A3.record([ID,Customer,Date]|~.([Product,Amount]).conj()))

    10多表关联列转行

      A B
    1

    =orcl.query@x("select t1.stu_id stu_id,t1.stu_name stu_name,t2.subject   subject,t2.score score1,t3.score

    score2 from Students   t1 left join Exam t2 on  t1.stu_id=t2.stu_id   left join

     Retest t3 on t1.stu_id=t3.stu_id and   t2.subject=t3.subject order by t1.stu_id,t2.subject

    2 =A1.group(stu_id) =A1.group(subject)
    3 =create(stu_id,stu_name,${(B2.(~.subject+"_score")|"total_score"|B2.(~.subject+"_retest  ")).string()})  
    4 >A2.run(A3.record([stu_id,stu_name]|B2.(~(A2.#).score1)|A2.sum(score1)|B2.(~(A2.#).score2)))  

    11分栏

      A B
    1 =orcl.query@x("select * from World where Continent   in('Europe','Africa')")
    2 =A1.select(Continent:"Europe") =A1.select(Continent:"Africa")
    3 =create('Europe City',Population,'Africa City', Population) =A3.paste(A2.(City),A2.(Population),B2.(City),B2.(Population))
  • 相关阅读:
    下载网络文件并重命名
    数据库加密解密
    java 向上向下取整
    Mybatis 批量添加,批量更新
    指定路径-读取本地文件夹中的文件-递归
    Python3.0科学计算学习之函数
    Python3.0科学计算学习之绘图(四)
    python中利用matplotlib绘图可视化知识归纳
    Python3.0科学计算学习之绘图(三)
    Python3.0科学计算学习之绘图(二)
  • 原文地址:https://www.cnblogs.com/IBelieve002/p/14010099.html
Copyright © 2020-2023  润新知