检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka集群监控管理 Kafka集群监控管理包含以下内容: 查看Broker信息 查看Topic信息 查看Consumers信息 通过KafkaManager修改Topic的partition 查看Broker信息 登录KafkaManager的WebUI界面。 在集群列表页面
管理MRS集群元数据 MRS集群元数据概述 配置Ranger元数据存储至RDS 配置Hive元数据存储至RDS 配置LakeFormation数据连接 管理MRS集群数据连接 父主题: 管理MRS集群
群的时间),时间差小于5分钟。 MRS集群的时间可通过登录主管理节点(集群管理IP地址所在节点)运行date命令查询。 下载MapReduce客户端程序到客户端机器中。 登录MRS Manager系统。 选择“服务管理 > 下载客户端”,下载客户端程序到客户端机器。 解压缩客户端
管理MRS集群数据连接 本章节主要介绍如何在MRS管理控制台上创建、查看和删除集群数据连接。 创建数据连接 登录MRS管理控制台,在导航栏选择“数据连接”。 单击“新建数据连接 ”。 配置RDS MySQL数据连接相关操作请参考为已有MRS集群创建RDS数据连接相关操作进行配置。
access control,基于角色的权限控制)方式对大数据系统进行权限管理,将系统中各组件零散的权限管理功能集中呈现和管理,对普通用户屏蔽掉了内部的权限管理细节,对管理员简化了权限管理的操作方法,提升权限管理的易用性和用户体验。 MRS集群权限模型由“用户-用户组-角色-权限”四类对象构成。
使用Impala查询管理界面 操作场景 用户可以根据业务需要,在FusionInsight Manager中通过交互式查询,查看Impala的相关任务。 本章节内容仅适用于MRS 3.1.5及之后版本。 前提条件 已获取“admin”账号密码。“admin”密码在创建MRS集群时由用户指定。
clickhouse/hadoop.<系统域名> --password 8中获取的clickhouse.keytab路径 --port ClickHouse的端口号 系统域名:默认为hadoop.com。具体可登录集群FusionInsight Manager,单击“系统 > 权限 > 域和互信
ClickHouse日志管理规则 日志路径 ClickHouse相关日志的默认存储路径为:“${BIGDATA_LOG_HOME}/clickhouse”。 ClickHouseServer运行相关日志:“/var/log/Bigdata/clickhouse/clickhouseServer/
ClickHouse用户权限管理 ClickHouse用户及权限管理 ClickHouse使用OpenLDAP认证 父主题: 使用ClickHouse
修改MRS集群节点操作系统用户密码 该任务指导用户定期修改MRS集群节点操作系统用户omm、ommdba、root的登录密码,以提升系统运维安全性。各节点操作系统用户无需设置为统一的密码。 默认集群操作系统用户密码有效期为90天,如果需要修改操作系统用户密码有效期,可以参考修改MRS操作系统用户密码有效期进行配置。
Manager基本原理 Manager功能 Manager是MRS的运维管理系统,为部署在集群内的服务提供统一的集群管理能力。 Manager支持大规模集群的性能监控、告警、用户管理、权限管理、审计、服务管理、健康检查、日志采集等功能。 Manager结构 Manager的整体逻辑架构如图1所示。
管理HetuEngine数据源 在HetuEngine的WebUI界面,用户可以对已添加的数据源进行查看、编辑和删除等操作。 使用HetuEngine管理员用户登录Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。 在“概览”页签
Loader用户权限管理 创建Loader角色 父主题: 使用Loader
Loader运维管理 Loader常用参数 Loader日志介绍 父主题: 使用Loader
IoTDB用户权限管理 IoTDB用户权限说明 创建IoTDB权限角色 父主题: 使用IoTDB
数据连接管理 创建数据连接 查询数据连接列表 更新数据连接 删除数据连接 父主题: API V2
IoTDB运维管理 IoTDB常用配置参数 IoTDB日志介绍 规划IoTDB容量 手动导入IoTDB数据 手动导出IoTDB数据 父主题: 使用IoTDB
Flume运维管理 Flume常用配置参数 Flume业务配置指南 Flume日志介绍 查看Flume客户端日志 查看Flume客户端监控信息 停止或卸载Flume客户端 父主题: 使用Flume
管理FlinkServer作业 查看FlinkServer作业健康状况 导入导出FlinkServer作业信息 配置FlinkServer作业运行残留信息自动清理 配置FlinkServer作业重启策略 配置FlinkServer作业中添加第三方依赖jar 配置FlinkServer作业中使用UDF
操作步骤 进入Kafka服务页面: MRS3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Kafka”。 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS