1.概述
Apache Ranger提供了一个集中式的安全管理框架，用户可以通过操作Ranger Admin页面来配置各种策略，从而实现对Hadoop生成组件，比如HDFS、YARN、Hive、HBase、Kafka等进行细粒度的数据访问控制。本篇博客，笔者将为大家介绍如何Apache Ranger的安装部署、以及使用。
2.内容
Apache Ranger提供以下核心功能，它们分别是：
- 通过统一的中心化管理界面或者REST接口来管理所有安全任务，从而实现集中化的安全管理；
- 通过统一的中心化管理界面，对Hadoop生态圈组件或者工具的操作进行更加细粒度级别的控制；
- 提供了统一的、标准化的授权方式；
- 支持基于角色的访问控制，基于属性的访问控制等多种访问控制手段；
- 支持对用户访问和管理操作的集中审计。
2.1 架构
Ranger的主要由以下几个核心模块组成，它们分别是：
- Ranger Admin：该模块是Ranger的核心，它内置了一个Web管理界面，用户可以通过这个Web管理界面或者REST接口来制定安全策略；
- Agent Plugin：该模块是嵌入到Hadoop生态圈组件的插件，它定期从Ranger Admin拉取策略并执行，同时记录操作以供审计使用；
- User Sync：该模块是将操作系统用户/组的权限数据同步到Ranger数据库中。
它们之间的流程关系，如下图所示：
2.2 工作流程
Ranger Admin是Apache Ranger和用户交互的主要界面，用户登录Ranger Admin时，可以针对不同的Hadoop组件定制不同的安全策略，当策略制定并保存后，Agent Plugin会定期从Ranger Admin拉取该组件配置的所有策略，并缓存到本地。
这样，当有用户来请求Hadoop组件的数据服务时，Agent Plugin就提供鉴权服务，并将鉴权结果反馈给相应的组件，从而实现了数据服务的权限控制功能。当用户在Ranger Admin中修改了配置策略后，Agent Plugin会拉取新策略并更新，如果用户在Ranger Admin中删除了配置策略，那么Agent Plugin的鉴权服务也无法继续使用。
以Hive为例子，具体流程如下所示：
3.安装部署
3.1 基础环境准备
3.2 下载源代码
下载源代码地址渠道，如下所示：
- 官网：https://ranger.apache.org/download.html
- Github：https://github.com/apache/ranger
3.3 编译源代码
Apache Ranger源代码使用Java语言开发，编译时需要使用Java环境，这里我们使用Maven命令来进行编译。Apache Ranger存储数据库支持MySQL数据库，我们直接使用MySQL数据库来作为Apache Ranger系统的存储数据库即可。
# 使用Maven命令编译 mvn -DskipTests=true clean package
编译成功后，会出现如下所示的截图：
3.4 安装Ranger Admin
编辑install.properties文件，具体内容如下所示：
# 指明使用数据库类型 DB_FLAVOR=MYSQL # 数据库连接驱动 SQL_CONNECTOR_JAR=/appcom/ranger-admin/jars/mysql-connector-java-5.1.32-bin.jar # 数据库root用户名 db_root_user=root # 数据库密码 db_root_password=Hive123@ # 数据库主机 db_host=nns:3306 # 以下三个属性是用于设置ranger数据库的 #数据库名 db_name=ranger # 管理该数据库用户 db_user=root # 管理该数据库密码 db_password=Hive123@ # 不需要保存，为空，否则生成的数据库密码为'_' cred_keystore_filename= # 审计日志，如果没有安装solr，对应的属性值为空即可 audit_store= audit_solr_urls= audit_solr_user= audit_solr_password= audit_solr_zookeepers= # 策略管理配置，配置ip和端口，默认即可 policymgr_external_url=http://nna:6080 # 配置hadoop集群的core-site.xml文件，把core-site.xml文件拷贝到该目录 hadoop_conf=/data/soft/new/hadoop-conf # rangerAdmin、rangerTagSync、rangerUsersync、keyadmin密码配置。 # 默认为空，可以不配，对应的内部组件该属性也要为空 rangerAdmin_password=ranger123 rangerTagsync_password=ranger123 rangerUsersync_password=ranger123 keyadmin_password=ranger123
执行setup.sh脚本命令后，如果成功，会出现如图所示的结果：
然后，执行set_globals.sh脚本命令，会出现如下所示的结果。
[root@nna ranger-admin]# ./set_globals.sh usermod: no changes [2022/03/26 21:45:26]: [I] Soft linking /etc/ranger/admin/conf to ews/webapp/WEB-INF/classes/conf [root@nna ranger-admin]#
然后，在登录界面输入“admin/ranger123”，成功进入主界面，如下图所示：
3.5 安装ranger-usersync
编辑install.properties文件，具体内容如下所示：
# 配置ranger admin的地址 POLICY_MGR_URL = http://nna:6080 # 同步源系统类型 SYNC_SOURCE = unix # 同步间隔时间，1分钟 SYNC_INTERVAL = 1 # usersync程序运行的用户和用户组 unix_user=ranger unix_group=ranger # 修改rangerusersync用户的密码。注意，此密码应与ranger-admin中 # install.properties的rangerusersync_password相同。 # 此处可以为空，同样ranger-admin的也要为空 rangerUsersync_password=ranger123 # 配置hadoop的core-site.xml路径 hadoop_conf=/data/soft/new/hadoop-config # 配置usersync的log路径 logdir=logs
执行setup.sh脚本命令后，如果成功，会出现如图所示的结果：
在Ranger Admin管理界面，出现如下所示的截图，表名安装成功。
4.配置Hive插件
4.1 启动插件
编辑install.properties文件，具体内容如下所示：
# 配置ranger admin的地址 POLICY_MGR_URL = http://nna:6080 # 配置hive的仓库名 REPOSITORY_NAME=hive-ranger # 配置hive组件的HIVE_HOME COMPONENT_INSTALL_DIR_NAME=/data/soft/new/hive # 配置ranger-hive-plugin的所属用户、用户组 CUSTOM_USER=hadoop CUSTOM_GROUP=hadoop
执行enable-hive-plugin.sh脚本命令，使HDFS插件生效。结果如下图所示：
4.2 创建新用户
在一台Hadoop的Client节点上创建一个新用户（hduser1024），具体操作命令如下所示：
# 新增一个用户 [hadoop@nna ~]$ adduser hduser1024 # 将新增的用户添加到已有的hadoop组中 [hadoop@nna ~]$ usermod -a -G hadoop hduser1024 # 复制hadoop用户下的环境变量 [hadoop@nna ~]$ cp /home/hadoop/.bash_profile /home/hduser1024/
进入Ranger Admin管理界面添加新用户，如下图所示：
4.3 配置Hive策略
在Ranger Admin中选择Hive策略模块，配置内容如下图所示：
这里策略名称、用户名和密码可以任意填写，JDBC驱动类和URL地址填写内容如下所示：
# 驱动类 org.apache.hive.jdbc.HiveDriver # URL地址，使用Zookeeper模式连接方式 jdbc:hive2://dn1:2181,dn2:2181,dn3:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2
接着，进入到具体的数据库、表以及列的权限设置页面，如下图所示：
4.4 Hive表权限验证
设置数据库game_user_db，选择表user_visit_pv，然后指定该表下的所有列（使用*号）授予hduser1024用户拥有查询权限（select）。接着，我们可以在Hive的客户端中执行查询语句验证权限：
# 进入到Hive客户端，并切换到指定数据库 hive> use game_user_db; # 查询表内容 hive> select * from user_visit_pv limit 2;
结果如下所示：
然后，我们进入到Hive策略中，修改只授予hduser1024用户读取uid字段的权限：
接着，我们可以在Hive的客户端中执行查询语句验证权限：
# 进入到Hive客户端，并切换到指定数据库 hive> use game_user_db; # 查询表内容 hive> select uid from user_visit_pv limit 2; hive> select uid,pv from user_visit_pv limit 2;
结果如下图所示：
可以看到hduser1024用户只拥有读取uid字段的权限，读取pv字段则会抛出权限异常的错误。
5.总结
综合考虑，Apache Ranger能够很好的和现有系统集成，比如：
- 支持多组件，比如HDFS、Hive、Kafka等，基本能覆盖现有大数据组件；
- 支持日志审计，便于问题排查；
- 用于自己的用户管理体系，方便和其他系统集成。
6.结束语
这篇博客就和大家分享到这里，如果大家在研究学习的过程当中有什么问题，可以加群进行讨论或发送邮件给我，我会尽我所能为您解答，与君共勉！
另外，博主出书了《Kafka并不难学》和《Hadoop大数据挖掘从入门到进阶实战》，喜欢的朋友或同学， 可以在公告栏那里点击购买链接购买博主的书进行学习，在此感谢大家的支持。关注下面公众号，根据提示，可免费获取书籍的教学视频。
