数据治理（十五）：Ranger 管理 Hive 安全

#头条创作挑战赛#

Ranger 管理 Hive 安全

一、配置 HiveServer2

访问 Hive 有两种方式：HiveServer2 和 Hive Client，Hive Client 需要 Hive 和 Hadoop 的 jar 包，配置环境。HiveServer2 使得连接 Hive 的 Client 从 Yarn 和 HDFS 集群中独立出来，不需要每个节点都配置 Hive 和 Hadoop 的 jar 包和一系列环境。

Ranger 管理 Hive 权限只能针对 HiveServer2 jdbc 方式连接，所以这里需要配置 HiveServer2。

配置 HiveServer2 步骤如下：

1）在 Hive 服务端配置 hive-site.xml

#在Hive 服务端 $HIVE_HOME/conf/hive-site.xml中配置：


     hive.server2.thrift.port
     10000


    hive.server2.thrift.bind.host
    192.168.179.4



    hive.zookeeper.quorum
     node3:2181,node4:2181,node5:2181

注意：“hive.zookeeper.quorum”搭建 hiveserver2HA 使用配置项，可以不配置，如果不配置启动 hiveServer2 时一直连接本地 zookeeper,导致大量错误日志（/tmp/root/hive.log），从而导致通过 beeline 连接当前 node1 节点的 hiveserver2 时不稳定，会有连接不上错误信息。

2）在每台 Hadoop 节点配置 core-site.xml,记得发送到所有节点


     
    hadoop.proxyuser.root.hosts     
    *
  
     
    hadoop.proxyuser.root.groups    
    *

3）重启 HDFS ，Hive ，在 Hive 服务端启动 Metastore 和 HiveServer2 服务

[root@node1 conf]# hive --service metastore &
[root@node1 conf]# hive --service hiveserver2 > /root/hiveserver2_log.txt &

4）在客户端通过 beeline 连接 Hive

[root@node3 test]# beeline
beeline> !connect jdbc:hive2://node1:10000 root
Enter password for jdbc:hive2://node1:10000: **** #可以输入任意密码,没有验证
0: jdbc:hive2://node1:10000> show tables;

二、安装 Ranger-hive-plugin

我们可以使用 Ranger 对 Hive 数据安全进行管理，这里需要安装 Hive 插件“ranger-2.1.0-hive-plugin”，此插件只能对 jdbc 方式连接 Hive 的请求进行权限管理，不能对 hive-cli 客户端方式进行权限管理（一般安装 Hive 的节点才能使用 Hive 客户端访问）。步骤如下：

1）远程发送编译好的“hive-plugin”到 node1 节点“/software”目录下，并解压

远程发送“/software/apache-ranger-2.1.0/target/”下的“ranger-2.1.0-hive-plugin.tar.gz”到 node1 节点“/software”下：

[root@node3 /]# scp /software/apache-ranger-2.1.0/target/ranger-2.1.0-hive-plugin.tar.gz node1:/software/
#在node1节点操作
[root@node1 ~]# cd /software/
[root@node1 software]# tar -zxvf ./ranger-2.1.0-hive-plugin.tar.gz

2）配置“install.properties”文件

进入到“/software/ranger-2.1.0-hive-plugin”目录中，修改“install.properties”文件：

[root@node1 ranger-2.1.0-hive-plugin]# vim install.properties
#配置Ranger-Admin访问地址
POLICY_MGR_URL=http://node1:6080
#配置Hive 仓库名称，可以自定义，需要后期在Ranger中使用
REPOSITORY_NAME=hive_repo
#配置Hive的安装目录
COMPONENT_INSTALL_DIR_NAME=/software/hive-3.1.2/
#配置使用插件的用户和用户组
CUSTOM_USER=root
CUSTOM_GROUP=root

3）执行“enable-hive-plugin.sh”脚本启动 hive 插件

进入到“/software/ranger-2.1.0-hive-plugin”目录下，执行如下命令，启用插件：

[root@node1 ~]# cd /software/ranger-2.1.0-hive-plugin
[root@node1 ranger-2.1.0-hive-plugin]# enable-hive-plugin.sh

三、配置 Ranger 连接 Hive 服务

安装好以上 Hive-Plugin 之后，重新启动 HDFS，启动 Hive,HiveMetastore、HiveServer2 等。如果想要对连接 Hive 的用户进行表、列权限管理，需要在 Ranger 中添加对应的 Hive 服务，才可以使用 Ranger 通过这个服务配置每个用户对 Hive 库、表、列权限管理。配置如下：

1）启动 HDFS，启动 Hive、Hive MeateStore、Hive Server2

#启动HDFS，在node1节点上启动Hive metastore
[root@node1 conf]# start-all.sh
[root@node1 conf]# hive --service metastore &
[root@node1 conf]# hive --service hiveserver2 > /root/hiveserver2_log.txt &

2）在 Ranger 页面中配置 Hive

注意，以上参数解释如下：

“Service Name”填写当前 Hive 服务名称，与 Hive 插件中"install.properties"文件配置参数"REPOSITORY_NAME"保持一致。
配置的“user”和“password”也是与"install.properties"文件中配置的“CUSTOM_USER=root”、“CUSTOM_GROUP=root”保持一致。
“jdbc.url”填写“jdbc:hive2://node1:10000”即可，这里连接 node1。

添加完成之后：

3）连接测试是否可以 jdbc 方式连接上 Hive

注意：这里连接时，单机测试连接时需要等待一段时间，才能正常连接。

四、Ranger 对 Hive 用户进行权限管理

查看 Ranger 中配置好的 Hive 权限管理服务：

修改上图中只有 root 用户对所以库、表、列具有操作权限,修改后如下：

在 node3 中登录 beeline 连接 node1 hive：

#node3 通过beeline连接Hive
[root@node3 ~]# beeline
#连接HiveServer2 jdbc连接
beeline> !connect jdbc:hive2://node1:10000
#这里用户名目前可以随意输入，在Hive中没有校验，这里可以通过Hive配置有哪些用
#户可以连接Hive，然后通过Ranger再管理这些用户的细粒度访问权限。从上图中可以
#看到目前只有root用户可以访问表数据，可以使用非root用户测试，这里使用
#“diaochan”用户：
Enter username for jdbc:hive2://node1:10000: diaochan
#由于Hive中没有检验密码，所以这里可以随意输入任意密码
Enter password for jdbc:hive2://node1:10000: ****
#查询库下的表，没有权限。
0: jdbc:hive2://node1:10000> show tables
Error: Error while compiling statement: FAILED: HiveAccessControlException Permission denied: user [daochan] does not have [USE] privilege on [de
fault] (state=42000,code=40000)


#重新使用root用户登录beeline，查询对应的表，有权限
[root@node3 ~]# beeline
beeline> !connect jdbc:hive2://node1:10000
Enter username for jdbc:hive2://node1:10000: root
Enter password for jdbc:hive2://node1:10000: *** #密码随意
0: jdbc:hive2://node1:10000> show tables;

下面在 Hive 中创建两张表进行权限管理：

#在Hive中创建两张表
create table student (id int,name string,age int) row format delimited fields terminated by '	';
create table score (id int,name string,score int) row format delimited fields terminated by '	';

上传数据附件，将以上文件上传到 node3“/software/test”下

1  zhangsan  18
2  lisi  19
3  wangwu  20
4  maliu  21
5  tianqi  22
6  zhaoba  23

1  zhangsan  100
2  lisi  200
3  wangwu  300
4  maliu  400
5  tianqi  500
6  zhaoba  600

#加载数据：
hive> load data local inpath '/root/test/students.txt' into table student;
hive> load data local inpath '/root/test/scores.txt' into table score;

权限需求：对用户“user1”配置以上两张表的访问和修改权限，对用户“user2”配置对两张表只有访问权限。

配置步骤如下：

1）在 node1 节点创建两个用户，密码为对应用户名称

#创建两个用户user1,和user2
[root@node1 ~]# useradd user1
[root@node1 ~]# passwd user1


[root@node1 ~]# useradd user2
[root@node1 ~]# passwd user2

2）在 Ranger 页面，打开“hive_repo”服务，配置如下：

配置“Student”表权限：

最终配置好如下：

3）登录 Hive Beeline 测试：

向 HDFS 中插入数据时，user1，user2 用户需要操作 HDFS 和 Yarn，所以这里将 HDFS 中 Hive 对应的路径“/user/hive/warehouse”中的“/user”路径权限改成“777”，将 Yarn 使用目录“tmp”路径权限改成“777”

[root@node5 bin]# hdfs dfs -chmod -R 777 /user
[root@node5 bin]# hdfs dfs -chmod -R 777 /tmp

测试登录 user1，对“student”、“score”表有操作和修改权限，如下：

[root@node3 ~]# beeline
beeline> !connect jdbc:hive2://node1:10000
0: jdbc:hive2://node1:10000> select * from student;

0: jdbc:hive2://node1:10000> select * from score;

#向表student、score中插入数据,也能通过。
0: jdbc:hive2://node1:10000> insert into student values (7,"aa",24);
0: jdbc:hive2://node1:10000> insert into score values (7,"bb",700);

测试登录 user2，对“student”、“score”表有操作和修改权限，如下：

[root@node3 software]# beeline
beeline> !connect jdbc:hive2://node1:10000
Enter username for jdbc:hive2://node1:10000: user2
Enter password for jdbc:hive2://node1:10000: *** #密码随便输入
0: jdbc:hive2://node1:10000> select * from student;

0: jdbc:hive2://node1:10000> select * from score;

#测试向“student”和“score”中插入数据，没有对应权限：
0: jdbc:hive2://node1:10000> insert into table student values (8,"cc",25);
Error: Error while compiling statement: FAILED: HiveAccessControlException Permission denied: user [user2] does not have [UPDATE] privilege on [d
efault/student] (state=42000,code=40000)


0: jdbc:hive2://node1:10000> insert into table score values (8,"dd",800);
Error: Error while compiling statement: FAILED: HiveAccessControlException Permission denied: user [user2] does not have [UPDATE] privilege on [d
efault/score] (state=42000,code=40000)

权限需求：对用户“user3”配置对“student”表中“id、name”两列有查询权限，其他列没有查询权限。

配置步骤如下：

1）在 node1 节点中添加用户“user3”

#创建两个用户user3
[root@node1 ~]# useradd user3
[root@node1 ~]# passwd user3

2）给用户“user3”配置表“student”的访问权限

3）测试

#user3登录beeline
[root@node3 software]# beeline
beeline> !connect jdbc:hive2://node1:10000
Enter username for jdbc:hive2://node1:10000: user3
#访问表“student”数据，“age”列无法查询，select * 查询不允许
0: jdbc:hive2://node1:10000> select id ,name from student;

权限需求：对用户“user1”访问表“student”时，“age”列进行空值输出，进行脱敏。

配置步骤如下：

1）给用户“user1”配置表“student”的“Masking”访问权限

2）登录 Hive Beeline 测试

[root@node3 software]# beeline
beeline> !connect jdbc:hive2://node1:10000
Enter username for jdbc:hive2://node1:10000: user1
0: jdbc:hive2://node1:10000> select * from student;

权限需求：对用户“user2”访问表“student”时，“age”列只能插叙小于等于 20 的行数据。

配置步骤如下：

1）给用户“user1”配置表“student”的“Masking”访问权限

2）登录 Hive Beeline 测试

[root@node3 software]# beeline
beeline> !connect jdbc:hive2://node1:10000
Enter username for jdbc:hive2://node1:10000: user2
#查询只有3行满足条件的数据
0: jdbc:hive2://node1:10000> select * from student;

展开阅读全文

页面更新：2024-03-21

标签：数据节点插件步骤权限密码操作方式测试用户

1 2 3 4 5