检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink与其他组件的关系 Flink与Yarn的关系 Flink支持基于Yarn管理的集群模式，在该模式下，Flink作为Yarn上的一个应用，提交到Yarn上执行。 Flink基于Yarn的集群部署如图1所示。 图1 Flink基于Yarn的集群部署 Flink Yarn C
配置工具 > 导入”，将该文件导入后再修改加密传输的相关配置项即可。 导入配置文件时，建议配置source/channel/sink的各自的个数都不要超过40个，否则可能导致界面响应时间过长。 不同的File Channel均需要配置一个不同的checkpoint目录。 单击“导出”，将配置文件“properties
确保用户可以正常读取客户端节点相关路径下的user.keytab文件。 确保用户的user.principal与指定的keytab文件对应。 可通过klist -kt keytabpath/user.keytab查看。 如果集群有做过切换域名操作，需要保证url中使用的principal字段是新域名。 如默认为hive/hadoop
用户可登录FusionInsight Manager，选择“系统 > 权限 > 域和互信”，查看“本端域”参数，即为当前系统域名。 “hive/hadoop.<系统域名>”为用户名，用户的用户名所包含的系统域名所有字母为小写。 执行如下命令，启用Hive admin权限。 set role admin; 执行如下命令，删除永久函数。
用户可登录FusionInsight Manager，选择“系统 > 权限 > 域和互信”，查看“本端域”参数，即为当前系统域名。 “hive/hadoop.<系统域名>”为用户名，用户的用户名所包含的系统域名所有字母为小写。 执行如下命令，启用Hive admin权限。 set role admin; 执行如下命令，删除永久函数。
在服务端配置用户创建topic的权限。 将Kafka的Broker配置参数“allow.everyone.if.no.acl.found”的值修改为“true”，如图1所示。配置完后重启Kafka服务。 图1 配置用户创建topic的权限 用户使用Linux命令行创建topic，执行命令前需要使用kinit命令进行人机认证，如：kinit
基于Python的Hive样例程序 功能介绍 本章节介绍如何使用Python连接Hive执行数据分析任务。 样例代码 使用Python方式提交数据分析任务，参考样例程序中的“hive-examples/python-examples/pyCLI_sec.py”。该样例程序连接的集群的认证模
应用程序在提交任务或者作业前，需要向Kerberos服务申请TGT（Ticket-Granting Ticket），用于建立和Kerberos服务器的安全会话。 Kerberos服务在收到TGT请求后，会解析其中的参数来生成对应的TGT，使用客户端指定的用户名的密钥进行加密响应消息。
基于Python的Hive样例程序 功能介绍 本章节介绍如何使用Python连接Hive执行数据分析任务。 样例代码 使用Python方式提交数据分析任务，参考样例程序中的“hive-examples/python-examples/pyCLI_sec.py”。该样例程序连接的集群的认证模
zookeeper.namespace”设置的具体设定值。 系统域名可登录FusionInsight Manager，选择“系统 > 权限 > 域和互信”，查看“本端域”参数获取。 “hive/hadoop.<系统域名>”表示用户名，用户名所包含的系统域名的所有字母为小写。 以上命令执行后将
管理Kafka Topic中的消息 操作场景 用户可以根据业务需要，使用MRS集群客户端，在Kafka主题中产生消息，或消费消息。 前提条件 已安装集群客户端。 启用Kerberos认证的集群，需要提前在Manager中创建业务用户，用户拥有在Kafka主题中执行相应操作的权限。 管理消息 进入Kafka服务页面：
连接到HBase响应慢 问题现象 在相同的VPC下，外部集群通过Phoenix连接到HBase时，响应较慢。 原因分析 客户配置了DNS服务，由于客户端连接到HBase先通过DNS来解析服务器端，所以导致响应慢。 处理步骤 以root用户登录Master节点。 执行vi /etc/resolv
/sink的各自的个数都不要超过40个，否则可能导致界面响应时间过长。 不同的File Channel均需要配置一个不同的checkpoint目录。 单击“导出”，将配置文件“properties.properties”保存到本地。 表1 Flume角色服务端所需修改的参数列表 参数名称
有“default”数据库的“建表”权限。如果Hive的数据库不是“default”，则还需要执行以下步骤： 在“配置资源权限”的表格中选择“待操作集群的名称 > Hive > Hive读写权限”，勾选所需指定的数据库的“建表”，单击“确定”保存。 在Manager角色界面创建一
有“default”数据库的“建表”权限。如果Hive的数据库不是“default”，则还需要执行以下步骤： 在“配置资源权限”的表格中选择“待操作集群的名称 > Hive > Hive读写权限”，勾选所需指定的数据库的“建表”，单击“确定”保存。 在Manager角色界面创建一
是否打开获取HBase token的功能。如果需要Spark-on-HBase功能，并且配置了安全集群，参数值设置为“true”。否则设置为“false”。 false spark.serializer 用于串行化将通过网络发送或需要缓存的对象的类以序列化形式展现。 Java序列化的默认值适用于任何Serializable
是否打开获取HBase token的功能。如果需要Spark-on-HBase功能，并且配置了安全集群，参数值设置为“true”。否则设置为“false”。 false spark.serializer 用于串行化将通过网络发送或需要缓存的对象的类以序列化形式展现。 Java序列化的默认值适用于任何Serializable
场景说明 在安全集群环境下，各个组件之间的相互通信不能够简单的互通，而需要在通信之前进行相互认证，以确保通信的安全性。 用户在提交MapReduce应用程序时，需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的应用程序中需要写入安全认证代码，确保MapReduce程序能够正常运行。
IntUDF 如果用户添加的Hive UDF注册信息有误，比如错误的格式或者不存在的类路径，系统将忽略这些错误的注册信息，并打印相应日志。 如果用户注册重复的Hive UDF，系统将只注册一次，并忽略重复的注册。 如果用户注册的Hive UDF与系统内部注册的相同，系统将会发生异常并
当使用Ranger作为spark sql的权限管理服务时，访问RangerAdmin需要使用集群中的证书。若用户未使用集群中的JDK或者JRE，而是使用第三方JDK时，会出现访问RangerAdmin失败，进而spark应用程序启动失败的问题。 在这个场景下，需要进行以下操作，将集群中的证书导入第三方JDK或者JRE中。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
