检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka集群监控管理 Kafka集群监控管理包含以下内容: 查看Broker信息 查看Topic信息 查看Consumers信息 通过KafkaManager修改Topic的partition 查看Broker信息 登录KafkaManager的WebUI界面。 在集群列表页面
Flume运维管理 Flume常用配置参数 Flume日志介绍 查看Flume客户端日志 查看Flume客户端监控信息 停止或卸载Flume客户端 父主题: 使用Flume
通过Hue管理HBase表 操作场景 用户需要使用图形化界面在集群中创建或查询HBase表时,可以通过Hue完成任务。 如需在Hue WebUI中操作HBase,当前MRS集群中必须部署HBase的Thrift1Server实例。 Thrift1Server实例默认不会安装,用户
Hudi数据管理维护 Hudi Clustering操作说明 Hudi Cleaning操作说明 Hudi Compaction操作说明 Hudi Savepoint操作说明 配置Hudi历史数据清理 Hudi Payload操作说明 父主题: 使用Hudi
ClickHouse用户权限管理 ClickHouse用户权限说明 创建ClickHouse角色 配置ClickHouse对接OpenLDAP认证系统 父主题: 使用ClickHouse
ClickHouse运维管理 ClickHouse日志介绍 收集ClickHouse系统表转储日志 配置ClickHouse表为只读表模式 集群内ClickHouseServer节点间数据迁移 迁移MRS集群内ClickHouse数据至其他MRS集群 扩容ClickHouse节点磁盘
ClickHouse多租户管理 ClickHouse多租户介绍 开启ClickHouse租户CPU优先级配置 创建ClickHouse租户 修改ClickHouse服务级别内存限制 父主题: ClickHouse企业级能力增强
LauncherJob重试后导致任务状态异常。 Sparkscript作业偶现作业状态与Yarn上作业状态不一致。 管理面提交MR引擎作业当任务有多个map时管理面任务结束统计时间不正确。 SQL中查询表格大于10张时,查询结果排序与实际的排序不符。 JobGateway提交的S
jar,将获取的包上传到/opt/client/HBase/hbase/lib目录下。 执行Jar包。 在Linux客户端下执行Jar包的时候,需要用安装用户切换到客户端目录: cd $BIGDATA_CLIENT_HOME/HBase/hbase “$BIGDATA_CLIENT_HOME”指的是客户端安装目录。
KERBEROS:安全集群,表示Kerberos认证开启,普通用户无权限使用MRS集群的“文件管理”和“作业管理”功能,并且无法查看Hadoop、Spark的作业记录以及集群资源使用情况。如果需要使用集群更多功能,需要找Manager的管理员分配权限。 默认取值: 不涉及 manager_admin_password
录该节点后台。 执行如下命令重启进程。 su - omm sh /opt/knox/bin/restart-knox.sh 父主题: 集群管理类
网。 已获取日志主机的登录方式。 操作步骤 根据前提条件,创建一个满足要求的弹性云服务器。 登录集群详情页面,选择“组件管理”。 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 单击“下载客户端”。
管理FlinkServer作业 配置FlinkServer重启策略 配置FlinkServer作业中使用UDF 父主题: 使用Flink
使用Impala查询管理界面 操作场景 用户可以根据业务需要,在FusionInsight Manager中通过交互式查询,查看Impala的相关任务。 本章节内容仅适用于MRS 3.1.5及之后版本。 前提条件 已获取“admin”账号密码。“admin”密码在创建MRS集群时由用户指定。
ClickHouse日志管理规则 日志路径 ClickHouse相关日志的默认存储路径为:“${BIGDATA_LOG_HOME}/clickhouse”。 ClickHouseServer运行相关日志:“/var/log/Bigdata/clickhouse/clickhouseServer/
Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 204 删除集群成功。 错误码 请参见错误码。 父主题: 集群管理接口
Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 缩容成功 错误码 请参见错误码。 父主题: 集群管理接口
号。 kill -9 PID 等待PMS进程自动启动。 PMS启动需要2~3分钟。PMS是监控进程,重启不影响大数据业务。 父主题: 集群管理类
Yarn的原生界面:在集群详情页选择“组件管理 > Yarn > ResourceManager WebUI > ResourceManager (主)”。 图1 Yarn界面队列资源情况 排查任务提交失败点。 登录MRS控制台,单击集群名称进入集群详情页面。 选择“作业管理”页签,单击作业所在行“操作”列的“查看日志”。
在集群详情页面,选择“节点管理”页签,单击“配置Task节点”,进入“配置Task节点”页面。 配置“节点类型”、“节点规格”、“节点数量”、“系统盘”,如开启“添加数据盘”后,还需要配置数据盘的存储类型、大小和数量。 单击“确定”。 弹性伸缩规则与资源计划叠加使用 登录MRS管理控制台。 选