1概要模式
概要模式其实就是数据的全貌信息的获取,主要分为3种:
1.1数值概要
#HSQL
SELECT MIN(num),MAX(num),COUNT(num) FROM table GROUP BY groupcol;
#Pig
b = GROUP a BY groupcol;
c = FOREACH b GENERATE group, MIN(a.num), MAX(a.num), COUNT_STAR(a)
1.2倒排索引概要
1.3计数器概要
2过滤器模式
过滤模式是不改变原有记录,而寻求子集的设计模式,主要应用于如下方面:
2.1过滤
#HSQL
SELECT * FROM table WHERE value<3;
#Pig
b = FILTER a BY value <3;
2.2布隆过滤
2.3TopN模式
#HSQL
SELECT * FROM table ORDER BY col DESC LIMIT 10;
#Pig
b = ORDER a BY col DESC;
c = LIMIT b 10;
2.4去重
#HSQL
SELECT DISTINCT * FROM table;
#Pig
b = DISTINCT a;
3数据组织模式
数据组织模式是将一组数据进行重组,重点在于将个别记录的价值放大到全局,主要有如下几个设计模式:
3.1分层
#HSQL
##在关系数据库中,很少;在RDBMS中解决类似问题方法一般是先对数据进行连接,然后在结果上分析
#Pig
##pig对于分层数据结构有一定支持,包括层次化的包和元组。
a = LOAD '/data/a' AS PigStorage('|');
b = LOAD '/data/b' AS PigStorage(',');
group_c = COGROUP a BY $2, b BY $1;
annalyzed = FOREACH group_c GENERATE udfs.ananlyze(group ,$1 ,$2);
...
3.2分区
3.3分箱
3.4全排序
#HSQL
SELECT * FROM table ORDER BY col DESC;
#Pig
b = ORDER a BY col DESC;
3.5混排
#HSQL
SELECT * FROM table ORDER BY RAND();
#Pig
b = GROUP a BY RANDOM(); #随机
c = FOREACH b GENERATE FLATTEN(a);#分组打平
4连接模式
连接模式是对于多处数据进行组织的一种方法,主要有以下几种:
4.1终端连接
#HSQL
SELECT column_name
FROM table_name1
LEFT JOIN table_name2
ON table_name1.column_name=table_name2.column_name
#Pig
C = JOIN A BY a1 LEFT OUTER,B BY b1; #左外,也可以:{左右全}外
C = JOIN A BY a1,B BY b1; #内
4.2复制连接
#pig
#只有内连接和左外才支持这种复制链接优化模式
#除了第一个数据集以外,要求所有的数据集都要在内存中
big = LOAD 'big_data' AS (b1,b2,b3);
tiny = LOAD 'tiny_data' AS (t1,t2,t3);
mini = LOAD 'mini_data' AS (m1,m2,m3);
C = JOIN big BY b1, tiny BY t1, mini BY m1 USING 'replicated';
4.3组织连接
4.4笛卡尔
#HSQL
SELECT * FROM table a ,b;
#Pig
c = CROSS a , b ;
5模式的模式
5.1作业链
5.2折叠链
5.3归并链
6IO模式
转载于:https://my.oschina.net/u/3511143/blog/1808961