检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
过程中找到关键瓶颈点,解决性能问题。 图1 调优流程 表1 调优流程说明 流程 描述 系统调优 对OS操作系统级参数和数据库的调优,充分地利用主机的CPU、内存、I/O和网络资源,提升整个系统查询的吞吐量,同时数据库参数也调整到最优状态。 SQL调优 审视业务所用SQL语句是否存在可优化空间,包括:
账户。建议使用Flume服务默认用户flume_server/hadoop.<系统域名>@<系统域名> 说明: “flume_server/hadoop.<系统域名>”为用户名,用户的用户名所包含的系统域名所有字母为小写。例如“本端域”参数为“9427068F-6EFA-4833-B43E-60CB641E5B6C
spark.sql.authorization.enabled 配置Hive client是否开启认证。 true 父主题: Spark运维管理
ZooKeeper连接断开 告警解释 系统每分钟检测一次ClickHouse和ZooKeeper的连接情况,如果检测连接失败,系统产生告警(告警原因为ZooKeeper连接异常)。如果连续3次检测连接失败,系统产生告警(告警原因为ZooKeeper连接断开)。 当系统检测到有一次连接成功,告警自动清除。
管理Kafka Topic中的消息 操作场景 用户可以根据业务需要,使用MRS集群客户端,在Kafka主题中产生消息,或消费消息。 前提条件 已安装集群客户端。 启用Kerberos认证的集群,需要提前在Manager中创建业务用户,用户拥有在Kafka主题中执行相应操作的权限。
执行命令ulimit -n,查看当前系统最大句柄设置数。 若文件句柄使用率超过阈值,直接联系系统管理员,增大系统文件句柄数。 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行7。 检查系统环境是否异常。 联系系统管理员,检查操作系统是否存在异常。 是,恢复操作系统故障,执行8。 否,执行9
报告该DataNode的数据存放情况。 NameNode 用于管理文件系统的命名空间、目录结构、元数据信息以及提供备份机制等。 Active NameNode:主NameNode,管理文件系统的命名空间、维护文件系统的目录结构树以及元数据信息;记录写入的每个“数据块”与其归属文件的对应关系。
Assignments”生成分区迁移方案。 继续单击“Run assignment”执行分区迁移方案,完成分区迁移。 父主题: Kafka运维管理
Reassignment Throttle”可以修改分区迁移的限流参数。 单击“Cancel”可以取消当前所有正在执行的分区迁移计划。 父主题: Kafka运维管理
WebUI界面和HetuEngine计算实例WebUI的运维管理员权限。 关联了“hetuuser”用户组的用户可获得SQL执行权限。可以访问HSConsole WebUI界面,查看当前用户关联租户的集群信息以及所有数据源的基本信息,可以访问计算实例的WebUI界面,并对当前用户的SQL有查询和运维的权限。 启用了R
删除(Delete) CREATE FUNCTION Hive管理员权限(Hive Admin Privilege) DROP FUNCTION Hive管理员权限(Hive Admin Privilege) ALTER DATABASE Hive管理员权限(Hive Admin Privilege)
单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
--entity-name client --command-config config/client.properties 父主题: Kafka运维管理
产生告警的主机名。 对系统的影响 如果将DataNode数据目录挂载在根目录等系统关键目录,长时间运行后会将根目录写满,导致系统故障。 不合理的DataNode数据目录配置,会造成HDFS的性能下降。 可能原因 DataNode数据目录创建失败。 DataNode数据目录与系统关键目录(“/”或“/boot”)使用同一磁盘。
t Manager,选择“集群 > 配置 > 所有非默认值”,搜索“timestamp_precision”查看。 父主题: IoTDB运维管理
请参考更换HA证书章节,申请或生成新的HA证书文件并导入。手动清除该告警信息,查看系统在定时检查时是否会再次产生此告警。 是,执行8。 否,处理完毕。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 OBS证书过期请参考如何处理集群内部OBS证书过期。
配置Doris表的列权限管理 操作场景 在FE的自定义配置项中添加“enable_col_auth”参数开启列授权后,Doris支持对列级别权限的管理。 该特性仅MRS 3.3.1及之后版本支持。 表的列级别的授权仅支持Select_priv权限。 必须使用具有Grant_priv权限的用户进行列权限的管理操作。
Manager首页,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“HDFS”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
告警全部恢复后,等待几分钟,检查本告警是否恢复。 是,处理完毕。 否,执行2。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 无。 父主题: MRS集群告警处理参考
告警全部恢复后,等待几分钟,检查本告警是否恢复。 是,处理完毕。 否,执行2。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 无。 父主题: MRS集群告警处理参考