• MaxCompute问答整理之6月


    本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助,下面咱们正式开始。

    1、什么是MaxCompute呢?
    MaxCompute是由阿里人自主研发的海量数据处理平台,可以称它为计算引擎。它主要提供针对TB/PB级数据、实时性要求不高的分布式处理能力,主要服务于批量结构化数据的存储和计算。简单来说呢,就是数据要存到MaxCompute里面,需要的时候再取出来。

    2、为什么要使用MaxCompute呢?
    MaxCompute的特点可以简单总结为5点:
    开箱即用在线服务,五分钟即可开通大数据平台。
    高效能低成本,持续高效低成本的大数据引擎。
    支持多种分布式计算模型,满足不同场景下的技术需求。
    生态融合,支持多样数据源、生态工具和标准。
    安全可靠,多租户数据安全保障机制。

    3、使用MaxCompute需要什么专业技能?
    JAVA、SQL、Python。

    4、使用MaxCompute需要准备什么开发工具呢?
    这里面的工具有三种:
    Odpscmd:MaxCompute客户端,喜欢用命令行的同学可以试试。
    https://help.aliyun.com/document_detail/27971.html
    因为odpscmd是基于JAVA开发的,所以记得配置JRE 1.7以上版本,建议使用JRE1.7/1.8。

    MaxCompute Studio:是MaxCompute平台提供的安装在开发者客户端的大数据集成开发环境工具,是一套基于流行的集成开发平台IntelliJ IDEA的开发插件。
    https://help.aliyun.com/document_detail/50889.html

    DataWorks:是阿里云重要的PaaS平台产品,可以提供数据集成、数据开发、数据管理、数据质量和数据服务等全方位的产品服务,拥有一站式开发管理的界面,DataWorks是基于MaxCompute为核心的计算、存储引擎,可以提供海量数据的离线加工分析、数据挖掘等功能。
    https://help.aliyun.com/product/72772.html

    我想大家看完上面的内容之后,以及对MaxCompute有了初步的了解和认知,下面我根据MaxCompute开发者社区里面大家碰见的问题做一个简单的整理,我会从初级问题开始一步步整理,大家可以随时查阅。

    问题一:怎么获取AccesskeyID和 Access key Secret?
    使用MaxCompute服务前,我们需要准备一个阿里云账号。
    下面这篇文章可以完美解决大家如何获取AK密钥。
    https://help.aliyun.com/document_detail/27803.html

    问题二:MaxCompute如何计费?
    当我们开通MaxCompute服务时都会碰见一个问题,如何选择自己的计费方式,怎么估算?MaxCompute的产品有两种计费模型,按量付费(先使用再付费)和CU预付费(先购买资源),简单来说就是资源共享和资源独享的区别。
    MaxCompute是以project为计费单元,计费项包括存储、计算、数据下载三类。就是分为计算费用(可预付费和后付费)、存储费用(按量后付费)、下载费用(按量后计费)。

    问题三:尝试把测试环境rds导入,结果遇到了类似分区,不知道怎么查文档解决?
    当我们在MaxCompute上面开始建表,查看分区等操作时,总是会碰见一些各种各样的问题。不怕,咱们有官方文档,有非常详细的解释和介绍。
    https://help.aliyun.com/document_detail/27829.html

    问题四:EMR和MaxCompute的区别?
    很多人都会问有了EMR,为什么还有MaxCompute?下面我给大家解释一下,
    EMR是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品,主要是提供用户在云上使用开源技术建设数据仓库、离线批处理、在线流式处理、及时查询、机器学习等场景下的大数据解决方案。
    MaxCompute是阿里人自主研发的,对外不开源,封装使用起来方便,而且运维成本比较低,两者在使用场景上基本没有差别。

    问题五:如何查看odps里面sql执行所消耗的资源?
    MaxCompute的计费方式有选择,那我们怎么去查看呢?怎么知道我一条SQL耗费了多少资源,下面这篇文章可以给我们很好的解答。https://help.aliyun.com/document_detail/106521.html

    问题六:MaxCompute和DataWorks的权限关系?
    通过MaxCompute的安全模型进行权限控制,并不会影响成员在DataWorks任何界面操作。而通过DataWorks的用户角色分配,则有可能影响成员MaxCompute资源权限。
    https://help.aliyun.com/document_detail/105012.html
    也可以通过视频来了解两者的关系。
    https://help.aliyun.com/video_detail/99890.html

    问题七:需要从odps数据导入到mysql,但是受到数据保护,无法导出,如何解决?
    可以通过关闭数据保护或者配置exception policy 来完成。
    https://help.aliyun.com/document_detail/34605.html

    问题八:如何赋予操作表的权限?
    MaxCompute可以通过授权方式对其中的表、任务、资源等客体的某种操作权限,包括读、写、查看等。
    https://help.aliyun.com/document_detail/27935.html

    本文作者:亢海鹏 

    原文链接

    本文为云栖社区原创内容,未经允许不得转载。

  • 相关阅读:
    Cookie中的HttpOnly详解
    垃圾收集器Serial 、Parallel、CMS、G1
    Spring中ApplicationContextAware的用法
    Java IO包装流如何关闭
    Oracle数据库只读事务和无事务的区别
    protobuf和thrift对比
    Google的SPDY协议成为HTTP 2.0的基础
    在tomcat7中启用HTTPS的详细配置
    实现Spring RESTful服务的SSL
    大型网站的 HTTPS 实践(一)—— HTTPS 协议和原理
  • 原文地址:https://www.cnblogs.com/zhaowei121/p/11195204.html
Copyright © 2020-2023  润新知