检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Hive分区元数据冷热存储 分区元数据冷热存储介绍 为了减轻集群元数据库压力，将长时间未使用过的指定范围的分区相关元数据移动到备份表，这一过程称为分区数据冻结，冻结的分区数据称为冷分区，未冻结的分区称为热分区，存在冷分区的表称为冻结表。将被冻结的数据重新移回原元数据表中，这一过程称为分区数据解冻。
配置如下参数，设置安全通道为加密的。 参数修改入口：在FusionInsight Manager系统中，选择“集群 > 服务 > Kafka > 配置”，展开“全部配置”页签，在搜索框中输入相关参数名称。 配置后应重启对应服务使参数生效。 Kafka服务端的传输加密相关配置参数如表1所示。
HDFS > 配置”，展开“全部配置”页签。在搜索框中输入参数名称。 配置后应重启对应服务使参数生效。 表1 参数说明 配置项 描述 默认值 hadoop.rpc.protection 须知： 设置后需要重启服务生效，且不支持滚动重启。 设置后需要重新下载客户端配置，否则HDFS无法提供读写服务。
配置Hadoop数据传输加密 设置安全通道加密 默认情况下，组件间的通道是不加密的。您可以配置如下参数，设置安全通道是加密的。 参数修改入口：在FusionInsight Manager系统中，选择“集群 > 服务 > 服务名 > 配置”，展开“全部配置”页签。在搜索框中输入参数名称。
进入客户端配置文件解压路径的“Kafka\config”，获取Kafka表1中相关配置文件。 表1 配置文件 配置文件 作用 client.properties Kafka的客户端的配置信息。 consumer.properties Kafka的consumer端配置信息。 kafkaSecurityMode
可能原因一：集群节点与客户端节点网络不通。 解决方法： 查看客户端节点“/etc/hosts”文件中是否配置集群节点映射，在客户端节点执行命令： ping sparkui的IP 如果ping不通，检查映射配置与网络设置。 可能原因二：客户端节点防火墙未关闭。 解决方法： 执行如下命令可查看是否关闭： systemctl
下载客户端。 ZooKeeper配置开启SSL通道加密传输，不支持滚动重启。 配置ZooKeeper数据传输加密 登录FusionInsight Manager，选择“集群 > 服务 > ZooKeeper > 配置 > 全部配置”，进入全部配置页面。 在搜索框中输入参数名称，按照下表进行修改。
配置Spark多租户模式 配置场景 多租户模式是将JDBCServer和租户绑定，每一个租户对应一个或多个JDBCServer，一个JDBCServer只给一个租户提供服务。不同的租户可以配置不同的Yarn队列，从而达到资源隔离。 Yarn资源不足情况下，不建议开启多租户模式。 配置描述
安装Flink客户端 Flink使用Windows环境进行开发，运行环境则建议部署在Linux环境下，MRS客户端不支持安装在Windows环境。您可以执行如下操作完成客户端的配置。 操作步骤 安装Flink客户端。 确认服务端Flink组件已经安装。 下载Flink客户端程序。
存储，也可以从冷存储到热存储。 图1 HBase冷热分离原理图 配置HBase冷热数据分离存储 通过在Manager界面修改HBase配置开启冷热分离特性，支持将冷数据存储在OBS，热数据存储在HDFS中。 参考配置Guardian服务对接OBS章节对接OBS。 登录FusionInsight
配置多主实例模式 配置场景 集群中支持同时共存多个ThriftServer服务，通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个ThriftServer服务停止工作，也不影响用户通过同一个客户端接口连接其他正常的ThriftServer服务。 配置描述 登录Manager，选择“集群
不可与最近N次使用过的密码相同，N为密码策略配置中“重复使用规则”的值。 使用客户端修改密码 该操作仅适用于MRS 3.x及之后版本。 以客户端安装用户登录安装客户端的节点。 执行以下命令，切换到客户端目录，例如“/opt/client”。 cd /opt/client 执行以下命令，配置环境变量。 source
配置Spark多租户模式 配置场景 多租户模式是将JDBCServer和租户绑定，每一个租户对应一个或多个JDBCServer，一个JDBCServer只给一个租户提供服务。不同的租户可以配置不同的Yarn队列，从而达到资源隔离。 配置描述 登录Manager，选择“集群 > 服务
进入客户端配置文件解压路径的“Kafka\config”，获取Kafka表1中相关配置文件。 表1 配置文件 配置文件 作用 client.properties Kafka的客户端的配置信息。 consumer.properties Kafka的consumer端配置信息。 kafkaSecurityMode
修改MRS集群组件鉴权配置开关 操作场景 集群部署为安全模式或者普通模式时，HDFS和ZooKeeper默认会对访问服务的用户进行鉴权，没有权限的用户无法访问HDFS和ZooKeeper中的资源。集群部署为普通模式时，Yarn默认不会对访问用户进行鉴权，所有用户可以访问Yarn中的资源。
x及后续版本支持Ranger，如果当前组件使用了Ranger进行权限控制，须基于Ranger配置相关策略进行权限管理，具体操作可参考添加Hive的Ranger访问权限策略。 前提条件 完成Hive客户端的安装。例如安装目录为“/opt/client”。 获取一个拥有管理员权限的用户，例如“admin”。
inux环境下（和安装了MRS集群的机器是同一个网络）却运行正常。 回答 由于Kerberos认证需要使用UDP协议，而防火墙做了特殊处理关掉了需要使用的UDP端口，导致应用程序在Windows环境下运行的机器与MRS集群的网络不是完全通畅的，需要重新设置防火墙，把需要使用的UD
inux环境下（和安装了MRS集群的机器是同一个网络）却运行正常。 回答 由于Kerberos认证需要使用UDP协议，而防火墙做了特殊处理关掉了需要使用的UDP端口，导致应用程序在Windows环境下运行的机器与MRS集群的网络不是完全通畅的，需要重新设置防火墙，把需要使用的UD
配置Oozie应用安全认证 场景说明 在安全集群环境下，各个组件需要在通信之前进行相互认证，以确保通信的安全性。 用户在开发Oozie应用程序时，某些场景下需要Oozie与Hadoop、Hive等之间进行通信。那么Oozie应用程序中需要写入安全认证代码，确保Oozie程序能够正常运行。
初始化HBase配置 功能介绍 HBase通过login方法来获取配置项。包括用户登录信息、安全认证信息等配置项。 代码样例 下面代码片段在com.huawei.bigdata.hbase.examples包的“TestMain”类的init方法中。 private static
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
