kerberos mapreduce_MRS集群开启kerberos认证

齐氏回玄 · 发表于 2024-9-24 01:48:51

Kerberos是一种网络认证协议，用于在非安全网络上的主机之间使用私密通信。MapReduce_MRS集群开启Kerberos认证是为了提高集群的安全性，防止未经授权的访问和数据泄露。
关于MRS集群开启Kerberos认证的详细步骤，开启Kerberos认证是确保Hadoop集群安全性的重要步骤，以下是详细的操作流程和注意事项。

zbhjcvm1jmx5kkx.png

（图片来源网络，侵删）
创建安全集群并登录其Manager
1、创建安全集群：
在创建MRS集群时，需要在创建集群页面开启“Kerberos认证”参数开关。
配置用于登录Manager的“密码”和“确认密码”，这些信息需妥善保管。
2、登录MRS管理控制台：
访问MRS管理控制台页面，单击“集群列表”，在“现有集群”列表中选择指定的集群名称，进入集群信息页面。
3、访问Manager服务：

zbhjbk13jejssck.png

（图片来源网络，侵删）
单击“前往Manager”打开Manager页面。
若已绑定弹性公网IP，需添加安全组规则，开启访问knox的9022端口权限。
若未绑定弹性公网IP，需先选择或购买弹性公网IP，并同样添加安全组规则。
4、登录Manager：
输入创建集群时默认的用户名“admin”及设置的密码，单击“登录”进入Manager页面。
创建角色和用户
1、创建角色：

zbhjpxpvndl21pt.jpg

（图片来源网络，侵删）
在Manager界面选择“系统 > 权限 > 角色”。
单击“添加角色”，填写角色名称，例如mrrole。
配置资源权限，选择待操作的集群，然后分别对Yarn、HBase、HDFS和Hive进行权限勾选。
2、创建用户组和用户：
选择“系统 > 权限 > 用户组 > 添加用户组”，例如mrgroup。
选择“系统 > 权限 > 用户 > 添加用户”，填写用户名，例如test，用户类型选择“人机”用户，输入密码，并加入用户组mrgroup和supergroup。
3、下载认证凭据：
选择新建用户test，选择“更多 > 下载认证凭据”，保存后解压得到用户的keytab文件与krb5.conf文件。
执行MapReduce程序
1、前提条件：
确保已编译好待运行的程序及对应的数据文件，如mapreduceexamples1.0.jar、input_data1.txt和input_data2.txt。
2、操作步骤：
使用远程登录软件通过ssh登录到安全集群的Master节点。
在“/opt/Bigdata/client”目录下创建test文件夹，在test目录下创建conf文件夹。
将mapreduceexamples1.0.jar、input_data1.txt和input_data2.txt复制到test目录下，将keytab文件和krb5.conf文件复制到conf目录。
配置环境变量并认证已创建用户，例如test。
执行命令将数据导入到HDFS中。
执行命令运行程序，指定HDFS文件系统中input和output的路径。
开启了Kerberos认证的MRS集群能够提供更安全的数据处理环境，确保数据传输的安全性和完整性，在实际操作中，需要严格按照步骤执行，确保每一步正确无误，以保障集群的稳定运行和数据的安全。

下面是一个简化的介绍，描述了在MRS（MapReducebased Spark）集群中开启Kerberos认证的步骤：

步骤	操作	详细说明
1	安装Kerberos服务器	在一个单独的机器上安装并配置Kerberos服务器。
2	配置集群	在集群中的所有节点上配置Kerberos客户端。
3	创建Kerberos主体	为集群中的每个服务和用户创建Kerberos主体。
4	生成密钥	为每个主体生成并分发密钥。
5	配置Hadoop	修改Hadoop配置文件以开启Kerberos认证。
6	分发配置	将修改后的配置文件分发到集群的所有节点。
7	重启集群服务	重启Hadoop和MRS集群服务以应用新的认证配置。
8	验证配置	验证集群服务是否可以成功通过Kerberos认证。

以下是每个步骤的详细描述：

步骤	操作	详细说明
1	安装Kerberos服务器	安装Kerberos软件包配置Kerberos服务器启动Kerberos服务
2	配置集群	在所有节点上安装Kerberos客户端配置krb5.conf文件指向Kerberos服务器
3	创建Kerberos主体	使用kadmin工具创建服务主体（如：mapreduce、hdfs等）创建用户主体用于登录集群
4	生成密钥	为每个主体生成密钥将密钥文件分发到对应的节点和目录
5	配置Hadoop	修改coresite.xml，添加Kerberos相关配置修改hdfssite.xml，开启HDFS的Kerberos认证修改yarnsite.xml，开启Yarn的Kerberos认证
6	分发配置	将配置文件同步到所有节点确保所有节点上的配置文件一致
7	重启集群服务	停止所有MRS集群服务启动Hadoop服务（HDFS、YARN等）启动MRS服务
8	验证配置	使用kinit命令获取用户的票证尝试执行MapReduce作业或Spark作业，验证是否可以通过Kerberos认证

请注意，这个介绍是一个高层次的概述，实际的配置和步骤可能会根据你的集群环境、Hadoop版本和Kerberos配置有所不同，在进行这些操作之前，建议详细阅读相关的官方文档和指南。

kerberos mapreduce_MRS集群开启kerberos认证

发表回复