• 读书笔记《Hadoop开源云计算平台》


    HDFS-Hadoop Distributed File System,对大文件效率高,小文件效率低。和普通本地的文件系统区别在于HDFS中的文件是分布在多台计算机上的,并且访问文件需要通过HDFS中的NameNode来访问。比如一个文件1g,被分成了10份分别保存在计算机01-10中,当客户端要获取这个文件时,会发生:

    1. 客户端request到NameNode
    2. NameNode返回这个文件分布情况:会返回一堆DataNode列表和文件block对应关系
      1. DataNode就是保存文件block的各个计算机,就是数据节点
      2. 客户端得知文件信息后,就直接和DataNode联系拿数据

    在一个HDFS集群中,如果NameNode down了,那HDFS也就down了

    在一个HDFS集群中,如果单个DataNode down了,HDFS照样提供服务。

    HDFS有Secondary NameNode,可以用来合并NameNode的日志等操作

    Zookeeper是这对分布式应用的分布式协作服务器

    数据库服务

    HBase,数据库服务,由1个HMaster和多个HRegion组成,它能快速读取、保存大表,是个基于列保存的系统

    比如保存一行:rowId, A, B, Cè{001, A1Content, BContent, CContent},HBase会将这一行数据拆分成3块,分别保存进HRegion001-003这3个计算机节点中(如果C列为null,则根本不会做保存这个动作)

    缺点

    1. 不能使用join等关系型数据库的语法
    2. 如果要使用join等操作,需要自己写MapReduce来合并结果,比较麻烦
    3. 不支持SQL查询

    Hive, 数据库服务,能够使用HSQL语句(类似SQL语法),能够join、group by等,并且能自动进行MapReduce操作(更加智能)

    CloudBase,数据仓库服务,支持SQL查询

    MapReduce简化

    1. Pig语言能够通过写脚本实现MapReduce功能,比较方便。
    2. Eclipse有个MapReduce的插件,可以简化MapReduce程序的开发。
  • 相关阅读:
    多语言资源文件制作工具
    window service 插件服务插件开发
    .net 中读取自定义Config文件
    Asp.net 主题中CSS文件的缓存问题
    Asp .net 4.0 中ViewStatus 使用
    Linq通用分页数据查询方法
    EF中查询出现死锁的处理
    Windows Live Writer 分享到插件
    Windows Resx资源文件编辑工具
    插件式服务架构
  • 原文地址:https://www.cnblogs.com/aarond/p/Hadoop.html
Copyright © 2020-2023  润新知