检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
同步MRS集群组件配置参数 添加MRS组件自定义参数 管理MRS角色实例 管理MRS角色实例组 修改MRS角色实例参数 执行MRS角色实例主备倒换 退服和入服MRS角色实例 切换MRS集群组件Ranger鉴权 访问MRS集群上托管的开源组件Web页面 父主题: 管理MRS集群
保存配置,并重启该NameNode实例。 重启主NameNode过程中,会发生NameNode主备倒换,导致系统在短暂时间内出现无主现象(主备倒换过渡期),可能会出现HDFS服务不可用告警信息,运行的读写任务会报错,但是不会中断业务。 重启备NameNode业务不受影响。 观察界面告警是否清除。
对于非状态计算主要调优为TaskManager的Heap Size与NetWork。 例如作业仅进行数据的读和写,TaskManage无需增加额外的vCore,off-Heap和Overhead默认为1GB,内存主要给Heap和Network。 状态计算提升性能的资源优化 SQL逻辑包含较多join、卷积计
据库导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需要
如果需要从远端HDFS恢复数据,需要准备备集群,且已完成数据备份,详细操作请参见备份HDFS业务数据。如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置MRS集群间互信。如果主集群部署为普通模式,则不需要配置互信。 主备集群必须已配
/user.keytab”文件。 替换knox用户的keytab和conf文件。 登录MRS Manager页面,选择“系统 > 用户”,在knox用户所在的“操作”列,单击“下载认证凭据”,解压后获取keytab和conf文件。 使用root用户登录主管理节点,将获取的keyt
如果需要从远端HDFS恢复数据,需要准备备集群,且已完成数据备份,详细操作请参见备份HBase业务数据。如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置MRS集群间互信。如果主集群部署为普通模式,则不需要配置互信。 主备集群必须已配
等待备实例重启成功后,单击Yarn的“概览”页签,选择“更多 > 执行ResourceManager倒换”,验证密码后执行主备倒换。 等待主备倒换完成后,在Yarn服务页面选择“实例”页签,勾选“ResourceManager (备)”实例,选择“更多 > 重启实例”,验证密码后重启实例。等待实例重启完成。 查看告警信息,是否存在告警“ALM-18008
queue ID: 0 是,该环境的网卡为主备bond模式,执行13。 否,执行14。 检查该告警详情中NetworkCardName参数对应的网卡是否为备网卡。 是,备网卡的告警无法自动恢复,请在告警管理页面手动清除该告警,处理完毕。 否,执行14。 备网卡判断方式:查看配置文件/pro
r获取主HMaster存储的整个HBase集群状态信息。即通过ZooKeeper实现避免HBase单点故障问题的问题。 ZooKeeper和Kafka的配合关系 ZooKeeper与Kafka的关系如图 ZooKeeper和Kafka的关系所示。 图4 ZooKeeper和Kafka的关系
在HDFS的“实例”页面,先勾选发出该告警的NameService的备NameNode,在“更多”中单击“重启实例”,输入密码后单击“确定”,等待备NameNode启动完毕。 重启备NameNode期间业务不受影响。 在HDFS的“实例”页面,先勾选发出该告警的NameService的主NameNode,在“更多”中
HBase运维管理 HBase日志介绍 配置Region Transition恢复线程 启用集群间拷贝功能备份集群数据 配置HBase主备集群数据自动备份 HBase集群容灾高可用 父主题: 使用HBase
如果需要从远端HDFS恢复数据,需要准备备集群,且已完成数据备份,详细操作请参见备份HBase元数据。如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置MRS集群间互信。如果主集群部署为普通模式,则不需要配置互信。 主备集群必须已配
使用ZooKeeper 通过MRS客户端连接ZooKeeper报错 由于主备Master节点时间未同步导致ZooKeeper服务不可用
会replicate到备集群。通过将BulkLoad操作记录在WAL上,同步至备集群,备集群通过WAL读取BulkLoad操作记录,将对应的主集群的HFile加载到备集群,完成数据的备份。 开源版本中HBase对于系统表ACL做了过滤,ACL信息不会同步至备集群,通过新加一个过滤器org
true:存在仲裁部署。 false:不存在仲裁部署。 默认取值: 不涉及 support_elb Boolean 参数解释: 支持ELB。 约束限制: 不涉及 取值范围: true:支持ELB。 false:不支持ELB。 默认取值: 不涉及 multi_affinity_group_enable
HBase日志介绍 HBase常用参数配置 配置Region Transition恢复线程 启用集群间拷贝功能备份集群数据 配置HBase主备集群数据自动备份 HBase集群容灾高可用 父主题: 使用HBase
解决GaussDB异常时,acs无自恢复能力的问题。 解决Agent重启会上报大量服务不可用告警的问题。 解决备OMS节点,主机重启后,knox进程无法自启动的问题。 解决DBServer频繁主备倒换的问题。 解决Hive MetaStore黑名单机制在并发场景下会出现空指针的问题。 解决HDFS
parser.safeMode=true" 使用omm用户在主OMS节点执行如下命令重启Controller 服务。 sh /opt/Bigdata/om-server/om/sbin/restart-controller.sh 在主OMS节点查看进程。 ps -ef |grep ControllerService
mcat start 在主OMS节点查看进程: ps -ef |grep tomcat | grep om-server 如果包含参数“-Dfastjson.parser.safeMode=true”,说明漏洞问题已经规避,如下图所示: 使用omm用户在备OMS节点同样执行1与2。