检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可能会丢失。 可能原因 无法连接OBS服务器。 指定的OBS文件系统不存在。 用户AK/SK信息失效。 本地OBS配置信息获取失败。 处理步骤 登录OBS服务器,检查OBS服务器是否可以正常访问。 是,执行3。 否,执行2。 联系运维人员恢复OBS,然后等任务再次启动后,检查告警是否恢复。
Oozie多个节点同时提供服务的时候,通过ZooKeeper来提供高可用(HA)功能,防止单节点故障以及多节点同时处理一个任务。 本章节内容仅适用于MRS 3.1.2及之后版本。 对系统影响 操作过程中需要重启Oozie服务。重启过程中,Oozie服务无法提供服务。 前提条件 已安装O
在启用Kerberos认证集群环境下,Kafka当前支持Sasl Plaintext认证。 操作步骤 Kafka服务端配置Sasl Plain认证。 登录FusionInsight Manager页面。 选择“集群 > 服务 > Kafka > 配置 > 全部配置”,搜索参数“sasl.enabled.me
注意:使用“--enable-az-aware”选项的前提是服务端开启了跨AZ特性,即服务端启动参数“az.aware.enable”为“true”,否则会执行失败。 “--bootstrap-server”方式由服务端生成副本分配方案,后续版本,社区将只支持这种方式来进行Top
custom”和“集群 > 服务 > Spark2x > 配置 > 全部配置 > SparkResource2x > 自定义 > custom”添加自定义配置:spark.httpdProxy.enable=true。 单击“保存”保存配置,并在“集群 > 服务 > Spark2x > 概览”页签右上角,选择“更多>
RS集群绑定具有OBS文件系统操作权限的IAM权限委托。 查看或绑定委托的操作如下: 登录MRS集群的“概览”页面,查看“委托”参数是否有值,且绑定的委托具有OBS文件系统操作权限。 是,集群已绑定委托。 否,执行4.b。 单击“管理委托”,为集群绑定具有OBS文件系统操作权限的委托。
Flume配置传输加密:请参见配置Flume加密传输。 Flink配置传输加密:请参见认证和加密章节的加密传输操作指导。 数据容灾与备份 容灾:MRS支持将数据备份到对象存储服务(OBS)中,支持跨区域的高可靠性。 备份:MRS支持针对OMS、Kafka、DBService、NameNode等组件的元数据备份和对H
rn、MapReduce服务属性后,需要重新下载并更新客户端配置文件。 集群中只剩下一个DBService角色实例时,不支持修改DBService服务的参数。 配置服务属性后,如果服务状态为“配置过期”,则需要重启此服务,重启期间该服务不可用。 修改服务配置参数并重启生效后,需要
台或Manager中停止集群,集群停止后,集群内的组件将无法对外提供服务。 用户也可以将已停止的集群再次启动。 操作MRS集群前提条件 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
该章节操作仅适用于MRS 3.x之前版本集群。 当MRS服务中默认的参数配置不足以满足用户需要时,用户可以自定义修改参数配置来适应自身需求。 登录集群详情页面,选择“组件管理”。 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
Oozie多个节点同时提供服务的时候,通过ZooKeeper来提供高可用(HA)功能,防止单节点故障以及多节点同时处理一个任务。 MRS 3.3.1及之后版本Oozie默认开启HA机制,无需执行该章节操作。 对系统影响 操作过程中需要重启Oozie服务。重启过程中,Oozie服务无法提供服务。 前提条件
MRS组件版本一览表 组件及版本号信息 MRS各集群版本配套的组件及版本号信息如表1所示。 Hadoop组件包含HDFS、Yarn、Mapreduce服务,DBService、ZooKeeper、KrbServer及LdapServer等集群内部使用的组件,在创建集群时的组件列表中不呈现。
删除过实例。 重装Zookeeper服务。 Kafka切换到了其他的Zookeeper服务。 可能导致Kafka Topic监控不显示,请按以下步骤恢复: 登录到集群的主OMS节点,执行以下切换到omm用户: su - omm 重启cep服务: restart_app cep 重启后等待3分钟,再次查看kafka
等内容。 Hadoop数据迁移到华为云MRS服务 本实践使用华为云CDM服务将Hadoop集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 HBase数据迁移到华为云MRS服务 本实践使用华为云CDM服务将HBase集群中的数据(支持数据量在几十T
Policy”,为1新建的用户组添加相应OBS路径的“Read”和“Write”权限。 例如,为用户组“obs_hadoop1”添加“obs://OBS并行文件系统名称/hadoop1”的“Read”和“Write”权限: 图2 为新建用户组赋予OBS路径读和写的权限 父主题: MRS集群服务对接OBS示例
配置HDFS通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后,即可在HDFS客户端查看和创建OBS文件目录。 HDFS对接OBS 以客户端安装用户登录安装了HDFS客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装目录
组件重启参考信息。 通过Manager管理角色实例 登录Manager页面。 进入服务实例页面。 MRS 3.x及之后版本:选择“集群 > 服务 > 实例”。 MRS 2.x及之前版本:选择“服务管理 > 实例”。 勾选待操作角色实例前的复选框。 选择“更多 > 启动实例”、“停
除后,启动主机上的所有角色恢复主机业务。 操作MRS集群前提条件 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 如果通过Manager界面操作,需要已登录MRS集群Manager界面
Resource参数中“bucket”的参数值表示OBS桶名称,“object”的参数值表示OBS对象名称,可根据需要指定名称。配置为“*”表示对所有OBS桶或OBS对象适用此策略。 其他参数按照实际需求进行配置。 勾选新建的策略名称例如“dev_visit_obs”,单击“下一步”。 “设置最小
登录MRS集群Manager管理界面。 选择“集群 > 概览”。 MRS 3.3.0及之后版本的Manager界面中,“集群 > 概览”页面已移除,可直接在“主页”界面的“更多”菜单中执行集群相关维护管理功能。 MRS 2.x及之前版本集群,单击“服务管理”,选择“更多 > 导出集群配置”即可导出集群配置至本地。