• 大数据基础---ClouderaManager和CDH是什么?


    1.CDH概述

    CDH(Cloudra's Distribution Apache Of Hadoop)是Apache Hadoop和相关项目的最完整,经过测试和最流行的发行版。CDH提供Hadoop的核心要素–可扩展的存储和分布式计算–以及基于Web的用户界面和重要的企业功能。CDH是Apache许可的开源软件,并且是唯一提供统一批处理,交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。 一句话概括CDH就是集成多种技术的一个框架。

    CDH提供
    • 灵活性-存储任何类型的数据并使用各种不同的计算框架进行处理,包括批处理,交互式SQL,自由文本搜索,机器学习和统计计算。
    • 集成-在可与广泛的硬件和软件解决方案一起使用的完整Hadoop平台上快速启动并运行。
    • 安全性-处理和控制敏感数据。
    • 可扩展性-启用广泛的应用程序并进行扩展,并扩展它们以满足您的要求。
    • 高可用性-自信地执行关键任务业务任务。
    • 兼容性-利用您现有的IT基础架构和投资。
    Hadoop生态构成
    • HDFS:分布式文件系统
      • ZKFC:为实现NameNode高可用,在NameNode和Zookeeper之间传递信息,选举主节点工具。
      • NameNode:存储文件元数据
      • DateNode:存储具体数据
      • JournalNode:同步主NameNode节点数据到从节点NameNode
    • MapReduce:开源的分布式批处理计算框架
    • Spark:分布式基于内存的批处理框架
    • Zookeeper:分布式协调管理
    • Yarn:调度资源管理器
    • HBase:基于HDFS的NoSql列式数据库
    • Hive:将SQL转换为MapReduce进行计算
    • Hue:是CDH的一个UI框架
    • Impala:是Cloudra公司开发的一个查询系统,类似于Hive,可以通过SQL执行任务,但是它不基于MapReduce算法,而是直接执行分布式计算,这样就提高了效率。
    • oozie:是一个工作流调度引擎,负责将多个任务组合在一起按序执行。
    • kudu:Apache Kudu是转为hadoop平台开发的列式存储管理器。和impala结合使用,可以进行增删改查。
    • Sqoop:将hadoop和关系型数据库互相转移的工具。
    • Flume:采集日志
    • 还有一些其它的
    CDH结构图

    2.Cloudra Manager概述

    Cloudra Manager简称CM,它是一个web操作平台,可以借助安装CDH然后安装多种Hadoop框架。

    CloudraManager技术构成

    Clients:客户端,通过web页面和ClouderaManager和服务器进行交互。

    API:通过API和ClouderaManagement和服务器进行交互

    Cloudera Repository:存储分发安装包

    Management Server:进行监控和预警

    Database:存储预警信息和配置信息。

    Agent:分布在多台服务器,负责配置,启动和停止进程。监控主机。

    结构图如下:

    3Al0jP.png

    系列传送门

  • 相关阅读:
    javascript Ajax类
    C# 使注册表修改后立即生效
    MSSQL:创建临时表并赋值
    sql语句创建[表][列]带描述
    flash调用js中的方法,让js传递变量给flash (兼容 IE & FF)
    SQL中日期转换方法大全
    MSSQL:表变量的声明和赋值
    各种编程方面的CHM参考帮助手册(ADO参考手册、JavaScript参考手册、DHTML参考手册、TransactSQL参考手册、等等)
    vim命令的使用技巧
    Linux 如何启动mail邮件服务
  • 原文地址:https://www.cnblogs.com/shun7man/p/12326282.html
Copyright © 2020-2023  润新知