一、MaxCompute介绍
大数据计算服务( MaxCompute，原ODPS )由阿里云自主研发,提供针对TB/PB级数据、实时性要求不高的分布式处理能力，应用于数据分析、挖掘、商业智能等领域。阿里巴巴的数据业务都运行在MaxCompute上。
分布式
分布式集群架构，跨集群技术突破，集群规模可扩展
安全性
自动存储容错，安全沙箱机制，冗余存储机制
易用性
标准接口服务，数据上传下载，支持SQL语句
管理与授权
多用户的管理协同，多种方式权限管理，灵活访问控制策略
1.Maxcompute对象
2.Maxcompute分区
分区表指在创建表时指定分区键，即指定表内的某几个字段作为分区列
在使用数据时如果指定了需要访问的分区名称，则只会读取相应的分区，避免全表扫描，提高了处理效率，降低费用
3.其他概念
任务( Task) :
MaxCompute 基本计算单元, SQL及MR都是通过任务完成的
实例( Instance) :
任务的一个具体实例,表示实际运行的task
沙箱( SandBox) :
按照安全策略限制程序行为的执行环境不允许直接访问本地文件
■不允许直接访问分布式文件系统
■不允许JNI调用机制
■Java反射限制
■不允许起子进程执行Linux命令
■不允许获取本地IP地址等
4.MaxComputer数据类型
二、MaxComputer架构
1.MaxComputer客户端
2.MaxComputer接入层
3.MaxComputer逻辑层
4.MaxComputer计算层
三、连接使用MaxComputer
eclipse连接 MaxComputer流程
在阿里云官网下载 odps-for-eclipse 组件（eclipse插件），解压，进入plugins文件夹，复制 odps-eclipse-plugin-bundle_0.15.0.jar 包到 eclipse 文件夹下的plugins文件夹里，然后打开eclipse，显示如下图所示的效果则说明配置成功
eclipse界面 -> File -> new -> Other...
四、数据的上传和下载
Tunnel 命令
数据上传
tunnel upload [options] <path> <[project.]table[/partition]>
数据下载
tunnel download [options] <[project.]table[/partition]> <path>
常用的参数
五、数据定义语言DDL
1.建表
2.删除表
3.修改表名
4.添加分区
5.删除分区
6.修改表属性
添加列
修改列
修改表注释
修改列注释
修改生命周期
修改时间
7.快捷建表CTAS
8.创建视图
CREATE [OR REPLACE] VIEW [IF NOT EXISTS] view_name
[(col_name[COMMENT col_comment],...)]
[COMMENT view_comment]
[AS select_statement]
删除视图
DROP VIEW [IF NOT EXISTS] view_name;
9.表的生命周期
生命周期( LifeCycle ) : MaxCompute表中的数据，从最后一次更新时间算起,在经过指定的时间后没有变动,则此表将被MaxCompute自动回收(删除)。此指定时间就是该MaxCompute表的生命周期。（单位：天）
10.MULTI INSERT
六、数据操作语言 DML
1.查询操作
2.更新数据
输出到普通表或者静态分区
输出到动态分区
如果目标表有多级分区，在运行insert语句时允许指定部分分区为静态，但是静态分区必须是高级分区（分区字段靠前的分区），动态生成的分区值不可以为null
3.多路输出 MULTI INSERT
4.表关联
5.MAPJOIN
6.分支表达式
第一种
CASE <value>
WHEN <condition_1> then <result_1>
WHEN <condition_2> then <result_2>
...
else <result_n>
END
第二种
CASE
WHEN <condition_1> then <result_1>
WHEN <condition_2> then <result_2>
...
else <result_n>
END
七、用户自定义函数
八、MapReduce
MapReduce是由Google最早提出的分布式数据处理模型, MR是一种简单 易用编程框架，基于该框架的程序可以运行在多个机器的集群上，并以-种安全可靠的方式处理TB、PB级别的海量数据。
MR框架处理数据过程主要分成两个阶段:
Map阶段和Reduce阶段。通常会把输入的数据集切分为若干独立的数据块,由map任务以完全并行的方式处理它们。框架会对map的输出先进行排序,然后把结果输入给reduce任务。
MapReduce框架
MR框架运转在<key, value>键值对上,也就是说，框架把作业的输入看为是一组<key, value>键值对,同样也产出一组<key, value>键值对做为作业的输出, 这两组键值对的类型可能不同。
九、Graph
MaxCompute Graph是一套面向迭代的图计算处理框架。图计算作业使用图进行建模，图由点(Vertex)和边(Edge)组成,点和边包含权值(Value)。通过迭代对图进行编辑、演化，最终求解出结果，典型应用: PageRank ,单源最短距离算法, K-均值聚类算法等等。用户可以使用MaxCompute GRAPH提供的接口Java SDK编写图计算程序。
图计算用于挖掘人、物等实体之间的潜在的不易观察的行为和联系,这些联系很难通过传统的关系型数据库表示。
■最短路径:好友推荐、转账检测、计算关系紧密程度
■最小连通图:洗钱、虚假交易等
■关键人物识别:寻找意见领袖,防止客户流失的群体效应
■PageRank :传播影响力分析
十、MaxCompute安全与权限
1.授权
授权操作一般涉及到三个要素:主体(Subject ,可以是用户或者角色)，客体(Object)和操作(Action)。在MaxCompute中,主体是指用户或角色，客体是指项目空间中的各种类型对象， 操作则与特定对象类型有关，不同类型的对象支持的操作也不尽相同。
关于授权的一些说明:
■主题主要包括用户、角色等
■客体包括项目空间Project、 表Table、 函数Function等
■操作和授权的对象相关 ,以表为例，支持: Describe、Select、 Update、 Drop、 All等
■主要的动作包括授予( grant)、收回( revoke)、查看( show grants )等:
➢grant actions on object to subject
➢revoke actions on object from subject
➢show grants for subject
2.添加用户并授权
决定对另一个用户授权时，需要先将该用户添加到自己的项目空间中来。添加用户的语法如下:
add user <username>;
当一个用户离开此项目团队时，需要将该用户从项目空间中移除。用户一旦从项目空间中被移除，该用户将不再拥有任何访问项目空间资源的权限。移除用户的命令如下:
remove user <username> ;
用户授权需注意:
➢当一个用户被移除后,该用户不再拥有访问该项目空间资源的任何权限。
➢移除一个用户之前,如果该用户已被赋予某些角色,则需要先撤销该用户的所有角色。
➢当一个用户被移除后,与该用户有关的ACL授权仍然会被保留。一旦该用户以后被再添加到该项目空间时,该用户的历史的ACL授权访问权限将被重新激活。
➢MaxCompute目前不支持在项目空间中彻底移除个用户及其所有权限数据
3.角色管理
角色( Role )是一组访问权限的集合,当需要对一组用户赋予相同的权限时,可以使用角色授权,可以大大简化授权流程，降低授权管理成本。
角色管理基本语法:
创建角色:
create role <rolename>
删除角色:
drop role <rolename> ;
给用户指派某种角色:
grant <rolename> to <username> ;
撤销角色指派:
revoke < rolename> from <username> ;
角色授权需注意:
■创建项目空间时会自动创建一 个admin角色,被授予固定权限,不能被修改
■删除一个角色时,只有在该角色的所有用户都被撤销后才会成功
■大数据开发套件中成员角色类型对应 了不同的MaxCompute角色
4.项目空间安全设置
MaxCompute是一个支持多租户的数据处理平台，不同的租户对数据安全需求不尽相同。为了满足不同租户对数据安全的灵活需求, MaxCompute支持项目空间级别的安全配置, ProjectOwner可以定制适合自己的外部账号支持和鉴权模型。
查看鉴权模型的语句:
show SecurityConfiguration ;
5.鉴权模型
6.项目空间保护
ProjectProtection :项目空间的数据保护,是否允许数据流出项目空间。缺省值为关闭( false )。一旦当项目空间开启项目空间的数据保护机制后，无法将项目空间中的数据转移到项目空间之外，所有的数据只能在项目空间内部流动。
set ProjectProtection=true ;
TrustedProject :可信项目空间。项目空间( prj1 )保护选项打开后,数据无法流出,若有一个项目空间( prj2 ) ,按照业务需求项目空间prj2可以从项目空间prj1中正常获取数据,则可以在项目空间prj1中把项目空间prj2设置为可信项目空间，设置成功后，prj1中的数据可以正常流转至项目空间prj2。不过是单向的
add trustedproject prj2;