• 阿里云MaxCompute 2019-6月刊


    您好,MaxCompute 2019.6月刊为您带来6月产品、技术最新动态,欢迎阅读。

    导读

    【功能发布】6月产品重要发布

    【文档更新】6月重要文档更新推荐

    【干货精选】6月精选技术文章推荐

    【活动回顾】6月活动回顾及干货整理

    【功能发布】6月产品重要发布

    1. 支持在阿里云的云监控服务中配置监控报警,以监测 MaxCompute 预付费资源组的使用情况。查看详情>>>

    发布功能

    MaxCompute预付费资源组的监控数据已支持云监控,请开通云监控服务,配置MaxCompute监控指标,可实时看到各指标的变化趋势图,并支持设置报警阈值,当数据达到阈值,会通过邮件、钉钉、短信等多种渠道发送通知。

    适用客户

    公共云 MaxCompute 预付费客户

    2. 支持生成建表DDL语句功能。  查看详情>>>

    发布功能

    SHOW CREATE TABLE ; 可生成创建table的SQL DDL语句,方便通过SQL重建schema。

    适用客户

    MaxCompute开发者

    3. 参数化视图。  查看详情>>>

    发布功能

    创建带参数的VIEW,create view if not exists pv1(@a table (k string,v bigint), @b string) as select srcp.key,srcp.value from srcp join @a on srcp.key=a.k and srcp.p=@b;
    支持用 subquery 作为参数的值: select * from view_name( (select 1 from src where a > 0), 1)
    定义 view 时,支持 ANY 类型: create view view_name (@a ANY, @b TABLE (x ANY)) as …
    定义 view 时,TABLE 定义支持 代表可变长列表: create view view_name(@a bigint, @b TABLE(x bigint, ANY)) as select from @b where x = @a; 这里第二个参数接受任何第一列是BIGINT的表,并且能通过 SELECT *,将变长部分返回到view调用者。

    适用客户

    MaxCompute SQL开发者

    4. UDF支持分区裁剪。  查看详情>>>

    发布功能

    用户使用这一功能有2个方式:1、在编写UDF的时候,UDF类上加入annotation:@com.aliyun.odps.udf.annotation.UdfProperty(isDeterministic=true)
    2、整个script设置flag: set odps.sql.udf.ppr.deterministic = true; 此时sql中所有udf均视为deterministic。结果回填存在一定的限制,即最多回填1000个partition,所以打开这个功能有可能会导致出现超过1000回填结果的报错。用户可以通过flag set odps.sql.udf.ppr.to.subquery = false; 来全局关闭这一功能​。

    适用客户

    使用UDF的开发者

    5. UDTF/UDAF支持动态参数。  查看详情>>>

    发布功能

    annotation里面支持使用 来表示任意类型 ,可以写成 @Resolve("bigint, string, -> bigint,") ,或者@Resolve(" -> *") 。 在输入参数部分,可以表示为任意个数、任意类型、任意长度的参数;在返回值中,表示任意个数、任意长度的String类型的返回值。

    适用客户

    公共云上使用UDF开发客户

    6. UDT支持函数重载。  查看详情>>>

    发布功能

    UDT 能够提供灵活的函数定义方式。某些情况下UDF 需要通过com.aliyun.odps.udf.ExecutionContext(在setup方法中传入)来获取一些上下文。而UDT也可以通过com.aliyun.odps.udt.UDTExecutionContext.get()方法来获取这样的一个 ExecutionContext 对象。UDT支持泛型,支持类继承,支持变长等功能。

    适用客户

    MaxCompute UDF开发者

    7. MaxCompute UDT支持 Resource。  查看详情>>>

    发布功能

    MaxCompute UDT 中可以获取 ExecutionContext 对象,从而访问当前的execution context,访问资源等。如在SQL中,通过 com.aliyun.odps.udf.impl.UDTExecutionContext.get() 静态方法获取 ExecutionContext 对象。这个功能可以解决用户“只需要调用一次Java内置类的方法即可实现”的场景,避免通过繁杂的UDF方式解决,从4个步骤减少到1步,从而提升开发效率。

    适用客户

    MaxCompute 开发者

    【文档更新】6月重要文档更新推荐  查看更多>>>

    1. 构建与优化数据仓库的教程

    2. 搭建互联网在线运营分析平台

    3. Elasticsearch数据迁至MaxCompute最佳实践

    4. PyODPS最佳实践参考示例

    5. MaxCompute跨项目迁移的最佳实践

    【干货精选】6月精选技术文章推荐  查看更多>>>

    1.优酷背后的大数据秘密

    2.MaxCompute客户端(odpscmd)在windows命令行下查询中文乱码问题处理实践​​​​​​​

    3.PyODPS DataFrame 处理笛卡尔积的几种方式

    【活动回顾】6月活动回顾及干货整理

    大数据技术公开课第二季四次课程系列视频回放

    1.构建企业级大数据平台的经验和对未来的思考  观看回放>>>

    2.基于阿里云MaxCompute构建企业云数据仓库CDW的最佳实践建议  观看回放>>>

    3.优酷背后的大数据秘密  观看回放>>>

    4.当各行各业遇到大数据  观看回放>>>

    本文作者:晋恒

    原文链接

    本文为云栖社区原创内容,未经允许不得转载。

  • 相关阅读:
    eclipse自动切换到debug视图
    Android Studio 1.1.0 “关联源码” 或者“导入源码” ,又或者插件包
    Eclipse中如何安装和使用GrepCode插件 (转)
    转【Python】同时向控制台和文件输出日志logging
    AngularJs学习
    MongoDB聚合运算之mapReduce函数的使用(11)
    MongoDB聚合运算之group和aggregate聚集框架简单聚合(10)
    MongoDB的分片(9)
    MongoDB replication set副本集(主从复制)(8)(转)
    MongoDB的导入导出(7)
  • 原文地址:https://www.cnblogs.com/zhaowei121/p/11196199.html
Copyright © 2020-2023  润新知