• 简单聊聊HDFS RBF第二阶段工作近期的一些进展


    前言


    前些时间Apache Hadoop 3.1.0版本正式发布,里面新增了很多feature以及一些bug fix,improvement改进。因为笔者本人最近几个月一直跟进,参与的是HDFS RBF这块,所以就简单聊聊这块所做的一些事情,旨在帮助大家方便了解这个feature具体做什么的。如果还有同学对RBF完全不太了解的,可以先阅读这篇博文:HDFS基于路由的Federation方案.

    主要改进点


    在这里笔者从用户的角度,来介绍一些对于我们来说会是一些比较好的改进或者是新功能。

    1.DBMS State Store的实现支持(HDFS-13245),目前已有相关patch,正在review中。DBMS State Store在实际场景中其实是一个非常常见的一个存储方式,一旦这块能够支持了,那么RBF在应用性上将会好很多。

    2.RBF成为一个独立的module模块(HDFS-13215),而不是在hadoop-hdfs工程里了,这样的话,它可以更好的独立完善和扩展。同时也会大大方便使用者对这块进行学习和改造。

    3.Disable Nameservice功能的引入(HDFS-13484)。这个功能类似于DataNode Maintenance或者Decomission的功能。在这里节点的概念就是一个个Nameservice,表示临时将这个Nameservice下线(不允许读写),直到条件允许,再通过命令或者API来重新启用这个Nameservice.

    4.Router拒绝请求处理功能(HDFS-13488)。此功能指的是当Router客户端的RPC使用线程数耗尽时,如果再有请求进来,会进行拒绝动作。默认情况下,此功能关闭,后面的请求会阻塞等待被处理。此功能在HA条件下会比较有用,这样后面的请求会被2个Router中负载小的一方处理掉。

    5.缓存刷新功能(HDFS-13443)。我们知道RBF为了性能的考虑,每次Router实际不会每次真的从State Store中load Mount table信息,而是在中间加了一个缓存,然后定期去更新这个缓存。这就造成有时用户更新的Mount table信息不会立即对Router生效。而这块改进则弥补了这块的不足,本之上就是提高了一个外部能够主动刷新缓存的接口/命令。

    6.其它。这里其它就有很多小方面的改进了,什么文档描述不准确的地方啊,管理员操作命令的使用优化啦,还有使用过程中,广大用户发现的各种小bug,不过这些都在HDFS-12615下进行了快速的跟进和解决。

    OK,以上就是简单的小结了,希望对RBF感兴趣的同学们有帮助,::)。

  • 相关阅读:
    docker.service启动失败:Unit not found
    本地测试环境搭建
    2016 年总结
    node-http-proxy修改响应结果
    JavaScript那些事儿(01): 对象
    Javascript正则表达式
    addEventListener之handleEvent
    《CSS那些事儿》读书笔记
    《编写高质量代码--Web前端开发修炼之道》读书笔记
    Javascript闭包简单理解
  • 原文地址:https://www.cnblogs.com/bianqi/p/12183629.html
Copyright © 2020-2023  润新知