检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看集群是否存在配置过期的服务,如果存在,需重启对应服务或角色实例使配置生效。也可在保存配置时直接勾选“重新启动受影响的服务或实例。”。 MRS 3.x之前的版本,服务配置参数均支持登录MRS Manager进行修改: 登录MRS Manager。 单击“服务管理”。 单击服务视图中指定的服务名称。
修改集群服务配置参数 用户可通过MRS管理控制台的集群组件配置页面修改各组件的配置参数。 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。 选择“组件管理 > 服务名称 > 服务配置”。 下拉列表默认显示“基础配置”,如果需要修改更多参数,请选择“全部配置”,界面上
建议同时调节“-Xms”的值,使“-Xms”和“-Xmx”比值为1:2,这样可以避免JVM动态调整堆内存大小时影响性能。 选择“更多 > 重启服务”重启服务。 在Hive服务重启期间,正在重启的实例无法对外提供服务,且对应实例上正在执行的SQL任务可能失败。 观察界面告警是否清除。 是,处理完毕。 否,执行7。 收集故障信息。
ClickHouse依赖服务设计 为了保证ClickHouse服务的稳定,需要提早规划好对于底层依赖服务的设计,主要是ZooKeeper,尤其是在使用replicated*系列表引擎的场景下。 ZooKeeper默认部署在MRS集群的Master节点,根据节点CPU和内存规格,调
ALM-27001 DBService服务不可用(2.x及以前版本) 告警解释 告警模块按30秒周期检测DBService服务状态。当DBService服务不可用时产生该告警。 DBService服务恢复时,告警清除。 告警属性 告警ID 告警级别 可自动清除 27001 致命 是
创建委托”。 设置“委托名称”。例如:mrs_ecs_obs。 “委托类型”选择“云服务”,在“云服务”中选择“弹性云服务器ECS 裸金属服务器 BMS”,授权ECS或BMS调用OBS服务。 图2 创建委托 “持续时间”选择“永久”并单击“完成”。 在授权的确认弹窗中,单击“立即授权
赖工具,将外部数据加载到Hive表各分区不是一件容易的事情。 云数据迁移服务(CDM)可以请轻松将外部数据源(关系数据库、对象存储服务、文件系统服务等)加载到Hive分区表。 本实践为您演示使用CDM云服务将MySQL数据导入到MRS集群内的Hive分区表中。 假设MySQL数据
集群服务对接OBS示例 配置Flink通过IAM委托访问OBS 配置Flume通过IAM委托访问OBS 配置HDFS通过IAM委托访问OBS 配置Hive通过IAM委托访问OBS 配置Hudi通过IAM委托访问OBS 配置MapReduce通过IAM委托访问OBS 配置Presto通过IAM委托访问OBS
成长地图 | 华为云 MapReduce服务 MapReduce服务(MapReduce Service)提供租户完全可控的企业级大数据集群云服务,可轻松运行Hadoop、Spark、HBase、Kafka等大数据组件。 图说MRS 产品介绍 仅两个按钮时选用 立即购买 成长地图
MRS对接LakeFormation云服务 LakeFormation服务概述 配置LakeFormation数据连接前准备 创建集群时配置LakeFormation数据连接 通过Ranger为MRS集群内用户绑定LakeFormation角色 父主题: 周边云服务对接
Hive服务状态为亚健康 可能原因 HBase服务不可用会导致Hive服务的健康状态变为Partially Healthy(亚健康)。 解决方案 HBase服务不可用请参考ALM-19000 HBase服务不可用。 父主题: 使用Hive
FE服务故障如何恢复 问题现象 FE可能因为某些原因出现无法启动bdbje、FE之间无法同步等问题,无法进行元数据写操作、没有MASTER等。需要手动操作来恢复FE,手动恢复FE先通过当前“meta_dir”中的元数据,启动一个新的MASTER,然后再逐一添加其他FE。 操作步骤
管理MRS集群静态服务资源 静态服务资源概述 配置MRS集群静态资源 查看MRS集群静态资源 父主题: 管理MRS集群
活等问题。 针对上述问题,华为云提供了大数据MapReduce服务(MRS),MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群。MRS提供租户完全可控的一站式企业级大数据集群云服务,完全兼容开源接口,结合华为云计算、存储优势及大数据行业经验,为
如何关闭防火墙服务? 问: 如何关闭防火墙服务? 答: 以root用户登录集群的各个节点。 检查防火墙服务是否启动。 例如,EulerOS环境下执行systemctl status firewalld.service命令。 关闭防火墙服务。 例如,EulerOS环境下执行systemctl
hasNext() { return true; } @Override public String next() { return generator.nextHexString(4);
与其他云服务的关系 MRS服务与周边其他云服务的关系如图1所示。 图1 MRS与其他云服务的关系图 MRS服务与其他云服务的关系 表1 MRS服务与其他云服务的关系 服务名称 MRS服务与其他服务的关系 主要交互功能 虚拟私有云(Virtual Private Cloud) MR
产生告警的集群名称。 服务名 产生告警的服务名称。 主机名 产生告警的主机节点信息。 对系统的影响 nscd服务不可用时,可能会影响该节点从LdapServer上同步数据,此时,使用id命令可能会获取不到Ldap中的数据,影响上层业务。 可能原因 nscd服务未启动。 网络故障,无法访问Ldap服务器。
产生告警的集群名称。 服务名 产生告警的服务名称。 主机名 产生告警的主机节点信息。 对系统的影响 sssd服务不可用时,可能会影响该节点从LdapServer上同步数据,此时,使用id命令可能会获取不到ldap中的数据,影响上层业务。 可能原因 sssd服务未启动或启动错误。 网络故障,无法访问Ldap服务器。
使用distcp命令跨集群复制HDFS数据 操作场景 distcp是一种在集群间或集群内部拷贝大量数据的工具。它利用MapReduce任务实现大量数据的分布式拷贝。 前提条件 已安装Yarn客户端或者包括Yarn的客户端。例如安装目录为“/opt/client”。 各组件业务用户