• Hue


          Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据. Hue在数据库方面,默认使用的是SQLite数据库来管理自身的数据,包括用户认证和授权,另外,可以自定义为MySQL数据库、Postgresql数据库、以及Oracle数据库

    目录:

    功能介绍


    • HDFS的访问,通过浏览器来查阅HDFS的数据
    • Hive编辑器:可以编写HQL和运行HQL脚本,以及查看运行结果等相关Hive功能
    • 提供Solr搜索应用,并对应相应的可视化数据视图以及DashBoard
    • 提供Impala的应用进行数据交互查询
    • 最新的版本集成了Spark编辑器和DashBoard
    • 支持Pig编辑器,并能够运行编写的脚本任务
    • Oozie调度器,可以通过DashBoard来提交和监控Workflow、Coordinator以及Bundle
    • 支持HBase对数据的查询修改以及可视化
    • 支持对Metastore的浏览,可以访问Hive的元数据以及对应的HCatalog
    • 对Job的支持,Sqoop,ZooKeeper等的支持

    安装部署


    • 安装配置过程参见:http://cloudera.github.io/hue/docs-3.6.0/manual.html
    • hue支持广,依赖多,系统环境有所缺失安装就比较麻烦,如make时会自建一个虚拟的运行环境,导致与系统默认有所偏差,造成编译安装过程遇到一些问题
    • 最简单的安装方式当然是使用CDH的RPM包,但是就要用到CDH的一整套集群环境,毕竟这在已有集群的情况下不太合理,可行性低

    Azure 安装CDH


    1. Go to https://ms.portal.azure.com
    2. Click on resource groups on the left navigation bar
    3. Enter a name for your resource group, pick the subscription and availability region and click on “create”.This will create a resource group that we will use in the cluster setup
    4. Click on “New”, then on “Data + Analytics” and then on “Cloudera Enterprise Data Hub”
    5. In the blade that opens up, under “Select deployment model”, click on “Resource Manager”, the click “Create”
    6. In the blade that opens, click on “Basics, Configure basic settings”;  Here, enter the following: User name (Linux user)password....
    • Next, click on “Inftrastructure information”;  See screenshot below for where you can customize, and where to leave defaults.
    • Next, click on “Cloudera setup information”;  Here, enter the following:  Cloudera Manager User Name Password Cluster Type (two options – POC and Production) Number of data nodes
    • Click on user information, enter some details about yourself.
    • Click on “Buy” and then create.  This will provision the cluster.
    •  Step away for a long break; At the time this post was written, it took more than an hour.  You can monitor the progress from the portal.

    Nodes and Roles


    • In the setup, we entered 3 data nodes, and selected Production,The following are the nodes and the roles running on them:

    Connecting to the cluster


     

     

     

  • 相关阅读:
    Grunt中批量无损压缩图片插件--Grunt-contrib-imagemin
    移动端前端题
    前端面试题,不解释...
    HTMLFormElement获取表单里面所有的值然后以json形式返回
    关于 CommonJS AMD CMD UMD 规范的差异总结
    mysql库安装
    安装mysql到ubuntu
    一个致命的操作
    vim编辑器常规配置
    samba的安装与配置
  • 原文地址:https://www.cnblogs.com/tgzhu/p/6139119.html
Copyright © 2020-2023  润新知