检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
减少系统表的磁盘使用。 本章节仅适用于MRS 3.2.0之前版本。 操作步骤 使用具有ClickHouse系统表修改权限的用户登录客户端节点,连接到ClickHouse服务端,具体请参考ClickHouse客户端使用实践。 清理存量系统表数据,执行如下命令: truncate table
Impala对接外部LDAP 本操作适用于MRS 3.1.0及之后版本。 登录Manager。 在Manager界面,选择“集群 > 待操作集群的名称 > 服务 > Impala > 配置 > 全部配置 > Impalad(角色) > LDAP”。 配置如下参数的值。 表1 参数配置
系统负载高导致JDBC作业提交耗时增加,可能影响作业执行效率。同时,因为是异步检测,所以该告警触发并不会影响作业继续执行。 可能原因 该节点JDBCServer存在负载高等原因,需客户通过集群采集的系统指标及作业执行情况关注集群健康度。 处理步骤 检查上报告警的JDBCServer实例
配置ClickHouse对接开源ClickHouse 本章节适用于MRS 3.3.0-LTS.1及之后版本。 操作场景 在普通模式(未开启Kerberos认证)下对接开源或其他厂商ClickHouse时候,需设置参数“CLICKHOUSE_OPENSOURCE_COMMUNITY
JDBCServer进程非堆内存使用率过高,会影响JDBCServer进程运行的性能,甚至造成内存溢出导致JDBCServer进程不可用。 可能原因 该节点JDBCServer进程非堆内存使用率过大,或配置的非堆内存不合理,导致使用率超过阈值。 处理步骤 检查非堆内存使用率。 登录MRS集群详情页面,选择“告警管理”。
regionserver.wal.durable.sync” “hbase.regionserver.hfile.durable.sync” 当提升性能时,缺点是对于DataNode(默认是3个)同时故障时,存在小概率数据丢失的现象。对数据可靠性要求高的场景请慎重配置。 本章节适用于MRS 3.x及之后版本。
减少系统表的磁盘使用。 本章节仅适用于MRS 3.2.0之前版本。 操作步骤 使用具有ClickHouse系统表修改权限的用户登录客户端节点,连接到ClickHouse服务端,具体请参考使用ClickHouse客户端。 清理存量系统表数据,执行如下命令: truncate table
剪切字符串 传入数据为NULL值,不做转换处理。 配置输入字段列数,大于原始数据实际包含的字段列数,全部数据成为脏数据。 字符截取的起点位置或终点位置,大于输入字段的长度时,当前行成为脏数据。 EL操作转换 传入数据为NULL值,不做转换处理。 输入一个或多个字段的值,输出计算结果。
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 GC时间超出阈值,会影响到Hive数据的读写,可能导致任务执行变慢,甚至服务异常重启。 可能原因 该节点Hive实例内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间 在FusionInsight Manager首页,选择“运维
使用Hive CBO功能优化多表查询效率 操作场景 在Hive中执行多表Join时,Hive支持开启CBO(Cost Based Optimization),系统会自动根据表的统计信息,例如数据量、文件数等,选出合适计划提高多表Join的效率。Hive需要先收集表的统计信息后才能使CBO正确的优化。
Linux环境已安装JDK,版本号需要和IntelliJ IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 在Linux环境中调测Doris应用 导出Jar包。 构建Jar包方式有以下两种:
配置Spark数据传输加密 操作场景 本章节指导用户设置Spark安全通道加密,以增强安全性。 该章节仅适用于MRS 3.x及之后版本。 配置Spark数据传输加密 参数修改入口:登录Manager页面,选择“集群 > 服务 > Spark > 配置”,展开“全部配置”页签,在搜索框中输入相关参数名称。
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Hive直接内存使用率过高,会影响Hive任务运行的性能,甚至造成内存溢出导致Hive服务不可用。 可能原因 该节点Hive实例直接内存使用量过大,或分配的直接内存不合理,导致使用率超过阈值。 处理步骤 检查直接内存使用率。 在FusionInsight Manager首页,选择“运维
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Hive非堆内存使用率过高,会影响Hive任务运行的性能,甚至造成内存溢出导致Hive服务不可用。 可能原因 该节点Hive实例非堆内存使用量过大,或分配的非堆内存不合理,导致使用率超过阈值。 处理步骤 检查非堆内存使用率。 在FusionInsight Manager首页,选择“运维
Hive定时查看默认数据仓库的状态,发现Hive默认数据仓库被删除。 处理步骤 检查Hive默认数据仓库。 以root用户登录客户端所在节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行以下命令,检查“hdfs://hacluster/user/{用户名}/.Trash/Current/
nsert操作,只允许select操作。 设置表只读模式 安装客户端,具体请参考安装MRS客户端章节。 使用root用户登录安装客户端的节点,执行以下命令: cd 客户端安装目录 source bigdata_env 如果当前集群为安全模式(开启Kerberos认证),执行以下命
增加Kafka Topic分区 操作场景 用户可以通过KafkaUI增加Kafka Topic分区。 安全模式集群下,执行分区迁移操作的用户需属于“kafkaadmin”用户组,否则将会由于鉴权失败导致操作失败。 非安全模式下,KafkaUI对任意操作不作鉴权处理。 本章节内容仅适用于MRS
增加Kafka Topic分区 操作场景 用户可以通过KafkaUI增加Kafka Topic分区。 安全模式集群下,执行分区迁移操作的用户需属于“kafkaadmin”用户组,否则将会由于鉴权失败导致操作失败。 非安全模式下,KafkaUI对任意操作不作鉴权处理。 增加分区 进入KafkaUI界面。
ALM-45638 FlinkServer作业失败重启次数超阈值 适用于MRS 3.1.2及至3.2.0之间版本。 告警解释 系统以用户配置的告警周期检查FlinkServer作业重启次数,如果重启次数超过用户配置的阈值,则发送告警。当作业重启成功,则告警恢复。 告警属性 告警ID
重启目的集群的HBase服务,使数据迁移生效。在启动过程中,HBase会加载当前HDFS上的数据并重新生成元数据。启动完成后,在Master节点客户端执行如下命令加载HBase表数据。 $HBase_Home/bin/hbase hbck -fixMeta -fixAssignments