检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Policy”，根据业务场景规划配置相关用户或者用户组的资源访问策略。 不同组件的访问策略配置样例参考： 添加HDFS的Ranger访问权限策略 添加HBase的Ranger访问权限策略 添加Hive的Ranger访问权限策略 添加Yarn的Ranger访问权限策略 添加Spark2x的Ranger访问权限策略
Kerberos用户对象 Kerberos协议中，每个用户对象即一个principal。一个完整的用户对象包含两个部分信息：用户名和域名。在运维管理或应用开发的场景中，需要在客户端认证用户身份后才能连接到集群服务端。系统操作运维与业务场景中主要使用的用户分为“人机”用户和“机
-with-dependencies”字段的Jar包放到该路径下，并在该目录下创建子目录“src/main/resources”，将已获取的“hive-jdbc-example\src\main\resources”目录下的所有文件复制到“resources”下。 执行以下命令运行Jar包：
该章节通过指导用户配置集群绑定EIP，并配置Spark文件的方法，方便用户可以在本地对样例文件进行编译。 本章节以运行SparkScalaExample样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP，并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合（注意如果主机名中出现大写字母要改成小写）。
更多 > 下载客户端”，将客户端中的core-site.xml和hiveclient.properties复制到样例工程的resources目录下。 修改样例代码中的JDBC URL中使用ZooKeeper的连接改为直接使用HiveServer2的地址连接。将URL改为：jdbc:hive2://
consumer.properties”中“security.protocol”的值为“SASL_SSL”或者“SSL”。 使用shell命令时，根据上一步中配置的协议填写对应的端口，例如使用配置的“security.protocol”为“SASL_SSL”，则需要填写SASL_SSL协议端口，默认为21009：
参考获取MRS应用开发样例工程，获取样例代码解压目录中“src”目录下的样例工程文件夹“mapreduce-example-security”。 将在准备MRS应用开发用户时得到的user.keytab和krb5.conf文件以及准备运行环境时获取的集群配置文件复制到样例工程的“conf”目录下。 导入样例工程到IntelliJ
shuffle Service是长期存在于NodeManager进程中的一个辅助服务。通过该服务来抓取shuffle数据，减少了Executor的压力，在Executor GC的时候也不会影响其他Executor的任务运行。 操作步骤 在NodeManager中启动External
properties”中“security.protocol”的值为“SASL_SSL”或者“SSL”。 进入“客户端安装目录/Kafka/kafka/bin”使用shell命令时，根据上一步中配置的协议填写对应的端口，例如使用配置的“security.protocol”为“SASL_S
-with-dependencies”字段的Jar包放到该路径下，并在该目录下创建子目录“src/main/resources”，将已获取的“hive-jdbc-example\src\main\resources”目录下的所有文件复制到“resources”下。 执行以下命令运行Jar包：
MRS集群客户端如何通过AK/SK信息对接OBS MRS 1.9.2及之后的版本支持使用obs://的方式对接OBS服务，当前主要支持的组件为Hadoop、Hive、Spark、Presto、Flink。其中HBase组件使用obs://的方式对接OBS服务暂不支持。 该章节主要介绍MRS集群组件如何通过AK/SK（Access
访问开启Kerberos的MRS Manager。 进入“系统设置 > 用户管理”，在指定的用户所在行单击“更多 >下载认证凭据”。 将下载获取到的zip文件解压缩，获取krb5.conf和该用户的keytab文件。 将krb5.conf和该用户的keytab文件拷贝到样例工程的conf目录中。
MRS服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager，在MRS Manager界面选择“系统设置 > 角色管理 > 添加角色”。 填写角色的名称，例如flinkrole。 在“权限”的表格中选择“HDFS > File System
2.2-准备开发用户中下载的user.keytab和krb5.conf文件拷贝到Linux环境的“/opt/conf”目录下，可参考5.4.1-编译并运行程序。 在二次开发过程中，PRINCIPAL需要用到的用户名，应该填写为带域名的用户名，例如创建的用户为test，域名为HADOOP
设置登录Hue的WebUI界面的“密码”、“确认密码”。 单击“用户组”后的“添加”，在弹出的界面选择3创建的用户组、supergroup、hadoop和hive用户组，单击“确定”。 “主组”选择“hive”。 单击“角色”后的“添加”，在弹出的界面选择2创建的角色和Syste
编辑角色，在“配置资源权限”的表格中选择“待操作集群的名称 > Hive > Hive读写权限”，勾选“default”的“建表”，单击“确定”保存。 编辑角色，在“配置资源权限”的表格中选择“待操作集群的名称 > Yarn > 调度队列 > root”，勾选“default”的“提交”，单击“确定”保存。
更多 > 下载客户端”，将客户端中的core-site.xml和hiveclient.properties复制到样例工程的resources目录下。 修改样例代码中的JDBC URL中使用zookeeper的连接改为直接使用hiveserver2的地址连接。将url改为jdbc:hive2://
eros.domain.name的值为$KAFKA_HOME/config/consumer.properties文件中kerberos.domain.name配置项的值。 若用户需要对接安全Kafka，则还需要在spark客户端的conf目录下的“jaas.conf”文件中增加
PhoenixExample.main()”运行对应的应用程序工程。 若运行报“Message stream modified (41)”的错误，这可能与JDK的版本有关系，可以尝试修改运行样例代码的JDK为8u_242以下版本或删除“krb5.conf”配置文件的“renew_lifetime =
ase和Hive的hbase-site.xml、hive-site.xml、hiveclient.properties配置文件。 复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中，确保本地机器能与解压目录下“hosts”文件中所列出的各主机在网络上互通。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
