检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
html#Data_Encryption_on_RPC 配置描述 请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 hadoop.rpc.protection 须知： 设置后需要重启服务生效，且不支持滚动重启。 设置后需要
ight_Cluster_1_Services_ClientConfig_ConfigFiles\HDFS\config”，获取表1中相关配置文件。 表1 配置文件 配置文件 作用 core-site.xml 配置Hadoop Core详细参数。 hdfs-site.xml 配置HDFS详细参数。
登录MRS管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 在集群详情页，单击“组件管理”。 单击服务列表中指定的服务名称。 单击“实例”页签。 勾选待操作角色实例前的复选框。 选择“更多 > 启动实例”、“停止实例”、“重启实例”或“滚动重启实例”等，执行相应操作。
nger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限 。 Ranger架构如图1所示 图1 Ranger结构 表1 结构图说明 名称 描述 RangerAdmin Ranger的管理角色，拥有策略管理、用户管理、审计管理等功能，提供WebUI和RestFul接口。
端自动刷新位置信息可能会影响时延。缩容节点可能会影响部分HBase on HDFS数据的第一次访问响应时长，可以重启HBase或者对相关的表执行Disable/Enable操作来避免。 Task节点本身不存储集群数据，属于计算节点，不存在节点数据迁移的问题。 父主题： 集群管理
等待文件生成后，可以使用omm用户将获取的下载包复制到其他目录。 远端节点：下载到主OMS节点外的其他节点上。选择该项还需配置以下参数： 表1 下载到远端节点配置参数 参数名称 示例 参数说明 保存到如下路径 /tmp/FusionInsight-Keytab-Remote/ 认证凭据文件保存路径。
w.everyone.if.no.acl.found”的值修改为“true”(普通集群不需配置)。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息，格式为IP:port。 $KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper
动后C段时间的任务启用流控功能。 配置描述 在Spark Driver端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.streaming.kafka.direct.lifo 配置是否开启Kafka后进先出功能。 false
共享功能。 图1 开启集群指标共享 重新打开弹性伸缩 升级完补丁后需要重新打开弹性伸缩，操作如下： 登录华为云管理控制台，在“现有集群”列表中选择对应集群，单击“弹性伸缩”。 开启安装前关闭的弹性策略。 父主题： MRS 3.2.0-LTS.1.10补丁说明
动后C段时间的任务启用流控功能。 配置描述 在Spark Driver端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.streaming.kafka.direct.lifo 配置是否开启Kafka后进先出功能。 false
ation.properties文件。没有指定默认值的配置为必选项。 bootstrap.servers：Kafka集群Broker地址列表，格式为ip:port,ip:port,ip:port。 security.protocol：Kafka客户端使用的认证协议，默认值“SAS
数，则不允许开启对接Kafka可靠性功能。 配置描述 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.streaming.Kafka.reliability Spark Streaming对接Kafka是否开启可靠性功能：
”分隔，格式为：baseTaskCount:taskStep:memoryStep,minMemory:maxMemory，在键入时会严格校验格式。 表1 配置数值说明 数值名称 描述 设定要求 baseTaskCount 任务总量基数，只有当应用的task总数（map端与reduce端之和）不小于该值时配置才会起作用。
ithLatestAvroPayload，它可以保证在任何场景下增量数据中的null值不会覆盖存量数据。 使用Payload Spark建表时指定Payload create table hudi_test(id int, comb int, price string, name
在FusionInsight Manager页面中，选择“集群 > 服务 > HDFS > 配置”，选择“全部配置”，并在搜索框中输入参数名称。 表1 配置参数 参数 描述 默认值 dfs.client.failover.proxy.provider.[nameservice ID] 用
source bigdata_env kinit hbase hbase shell set_clusterState_active 界面提示以下信息表示执行成功： hbase(main):001:0> set_clusterState_active => true 确认HBase上层应用中原有的配置文件“hbase-site
在FusionInsight Manager页面中，选择“集群 > 服务 > HDFS > 配置”，选择“全部配置”，并在搜索框中输入参数名称。 表1 配置参数 参数 描述 默认值 dfs.client.failover.proxy.provider.[nameservice ID] 用
登录Manager WebUI 认证架构包含步骤1、2、3、4 登录组件Web UI 认证架构包含步骤5、6、7、8 组件间访问 认证架构为步骤9 表1 关键模块解释 名称 含义 Manager 集群Manager Manager WS WebBrowser Kerberos1 部署在Ma
待操作集群的名称 > 服务 > Yarn > 配置”，单击“全部配置”，单击“NodeManager > 系统”，在“GC_OPTS”参数中修改配置。 表1 参数说明 参数 描述 默认值 GC_OPTS Yarn NodeManager的GC参数。 128M 父主题： Spark Core
个数分组，每个分组会单独创建一个文件记录日志，从而避免应用长期运行时形成单个过大日志造成JobHistory无法读取的问题，设置为“0”时表示不分组。 大部分Spark Streaming任务属于小型job，而且产生速度较快，会导致频繁的分组，产生大量日志小文件消耗磁盘I/O。建
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
