检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager基本原理 Manager功能 Manager是MRS的运维管理系统,为部署在集群内的服务提供统一的集群管理能力。 Manager支持大规模集群的性能监控、告警、用户管理、权限管理、审计、服务管理、健康检查、日志采集等功能。 Manager结构 Manager的整体逻辑架构如图1所示。
配置源数据心跳表实现数据判齐功能 操作场景 心跳和数据判齐功能用于统计CDL同步任务的全链路信息, 包括从数据库管理系统RDBMS到Kafka的数据耗时、从Kafka消费数据写入到Hudi的数据耗时和数据条数等一系列信息,并将其写入到特定的Topic(cdl_snapshot_t
更多的计算框架。 基本概念 ResourceManager(RM) RM是一个全局的资源管理器,负责整个系统的资源管理和分配。它主要由两个组件构成:调度器(Scheduler)和应用程序管理器(Applications Manager,ASM)。 ApplicationMaster(AM)
更多的计算框架。 基本概念 ResourceManager(RM) RM是一个全局的资源管理器,负责整个系统的资源管理和分配。它主要由两个组件构成:调度器(Scheduler)和应用程序管理器(Applications Manager,ASM)。 ApplicationMaster(AM)
更多的计算框架。 基本概念 ResourceManager(RM) RM是一个全局的资源管理器,负责整个系统的资源管理和分配。它主要由两个组件构成:调度器(Scheduler)和应用程序管理器(Applications Manager,ASM)。 ApplicationMaster(AM)
作业管理 MRS作业管理为用户提供向集群提交作业的入口,支持包括MapReduce、Spark、HQL和SparkSQL等类型的作业。 结合华为云数据治理中心DataArts Studio,提供一站式的大数据协同开发环境、全托管的大数据调度能力,帮助用户快速构建大数据处理中心。 通过数据治理中心DataArts
管理MRS集群租户 MRS多租户简介 MRS多租户使用流程 配置MRS租户 管理MRS租户资源 切换MRS租户资源调度器 父主题: 管理MRS集群
集群管理 集群生命周期管理 集群在线扩缩容 创建Task节点 自动弹性伸缩 节点隔离 升级Master节点规格 节点标签管理 父主题: 产品功能
se问题定位的效率。 针对不同的系统表日志可以分为实时转储和一键转储,如下表所示: 系统表转储日志 系统表 实时转储系统表日志 system.asynchronous_metrics system.clusters system.distribution_queue system
HDFS文件系统目录简介 HDFS是Hadoop的分布式文件系统(Hadoop Distributed File System),实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写,多次读”的特征,而数据“写”操作是顺序写,也就是在文件创建时的写入或者在
告警”页面下“告警”、“事件”的查看权限。 管理权限:“集群”、“运维”页面的管理权限。 User: 查看权限:“系统”页面下“权限”区域中内容的查看权限。 管理权限:“系统”页面下“权限”区域中内容的管理权限。 Audit : 管理权限:“审计”页面信息的管理权限。 Tenant: 查看权限:“租户资源”页面的查看权限。(MRS
修改MRS集群系统用户密码 修改或重置MRS集群admin用户密码 修改MRS集群节点操作系统用户密码 修改MRS集群Kerberos管理员用户密码 修改MRS集群Manager用户密码 修改MRS集群LDAP普通用户密码 修改MRS集群LDAP管理账户密码 修改MRS集群组件运行用户密码
MRS集群是否支持切换操作系统? 问: MRS集群是否支持切换操作系统? 答: MRS集群内节点操作系统为ECS初始镜像,不支持切换操作系统。 父主题: 节点管理类
@@Test@123 修改系统域名后,系统管理员在修改域名以前添加的“机机”用户,请重新下载keytab文件。 修改系统域名后,请重新下载并安装集群客户端。 修改系统域名后,如果有运行中的HetuEngine计算实例,需要重启HetuEngine的计算实例。 前提条件 系统管理员已明确业务需求,并规划好不同系统的域名。
入服中 角色实例正在入服。 未知 后台系统重启后,角色实例的初始状态。 健康状态 良好 该角色实例正常运行。 恢复中 后台系统正在尝试自动启动角色实例。 故障 该角色实例运行异常,如PID不存在,无法访问端口。 未知 角色实例所在主机与后台系统未连接。 亚健康 该角色实例部分正常运行
MRS集群是否支持重装系统? 问: MRS集群是否支持重装系统? 答: MRS集群内节点操作系统为ECS初始镜像,不支持重装操作系统。 父主题: 节点管理类
MRS集群内节点的操作系统是什么? 问: MRS集群内节点的操作系统是什么? 答: 不同版本的集群对应的主机操作系统不同,具体对应关系如表1所示。 表1 MRS集群版本与主机操作系统对应关系 MRS集群版本 x86计算 鲲鹏计算(ARM) MRS 3.2.0-LTS.1 EulerOS
MRS集群节点如何进行操作系统漏洞升级 用户问题 EulerOS系统底层存在漏洞时,MRS集群如何进行操作系统漏洞升级? 问题现象 在使用安全软件测试集群时,发现有EulerOS系统底层存在漏洞。 原因分析 MRS集群内服务部署在EulerOS系统中,因此需要进行漏洞升级。 处理步骤
修改MRS集群LDAP管理账户密码 建议管理员定期修改集群LDAP管理账户“cn=krbkdc,ou=Users,dc=hadoop,dc=com”和“cn=krbadmin,ou=Users,dc=hadoop,dc=com”的密码,以提升系统运维安全性。 该章节仅适用于MRS
clickhouse/hadoop.<系统域名> --password 8中获取的clickhouse.keytab路径 --port ClickHouse的端口号 系统域名:默认为hadoop.com。具体可登录集群FusionInsight Manager,单击“系统 > 权限 > 域和互信