检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Regions”列上Region的个数分布是否均衡。 是,执行20。 否,执行15。 以omm用户登录故障RegionServer节点。 进入客户端安装目录,设置环境变量。 cd 客户端安装目录 source bigdata_env kinit 归属于supergroup用户组或具备Global的A
在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“CDL”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除
在告警列表中查看“ALM-25000 LdapServer服务不可用”告警是否清除。 是,处理完毕。 否,执行3。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 无。 父主题: MRS集群告警处理参考
在主集群的FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Mapreduce”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除
缺点:需要定期合并整理compact,否则碎片文件较多。读取性能较差,因为需要将delta log和老数据文件合并。 Hudi表存储 Hudi在写入数据时会根据设置的存储路径、表名、分区结构等属性生成Hudi表。 Hudi表的数据文件,可以使用操作系统的文件系统存储,也可以使用HDFS这种分布式的文件
等待一个小时,进入下一次检查,查看告警是否恢复。 是,操作结束。 否,执行2。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 无。 父主题: MRS集群告警处理参考
(八进制,等同于以符号表示的u=rwx,g=r-x,o=r-x),或者“u=rwx,g=rwx,o=”(符号法,等同于八进制的“007”)。 说明: 8进制的掩码,和实际权限设置值正好相反,建议使用符号表示法,描述更清晰。 022 父主题: HDFS用户权限管理
缺点:需要定期合并整理compact,否则碎片文件较多。读取性能较差,因为需要将delta log和老数据文件合并。 Hudi表存储 Hudi在写入数据时会根据设置的存储路径、表名、分区结构等属性生成Hudi表。 Hudi表的数据文件,可以使用操作系统的文件系统存储,也可以使用HDFS这种分布式的文件
(八进制,等同于以符号表示的u=rwx,g=r-x,o=r-x),或者“u=rwx,g=rwx,o=”(符号法,等同于八进制的“007”)。 说明: 8进制的掩码,和实际权限设置值正好相反,建议使用符号表示法,描述更清晰。 022 父主题: HDFS用户权限管理
/opt/hadoopclient/Flink/flink/bin ./sql-client.sh 图1 进入FlinkSQL Client 设置“high-availability.cluster-id”为yarn-session ID。 SET high-availability
通过Manager页面,查看当前Kafka集群配置。 MRS Manager界面操作:登录MRS Manager,选择“服务管理 > Kafka > 服务配置”,“参数类别”设置为“全部配置”,发现“KAFKA_JVM_PERFORMANCE_OPTS”的中“-XX:MaxDirectMemorySize”值为“1G”。
若Streaming应用中使用了state函数,则不允许开启对接Kafka可靠性功能。 配置描述 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.streaming.Kafka.reliability Spark Streaming对接Kafka是否开启可靠性功能:
数据类型转换失败,当前行成为脏数据。 表输出 HBase输出 原始数据包含NULL值,如果“NULL值处理方式”设置为“true”,将转换为空字符串并保存。如果“NULL值处理方式”设置为“false”,不保存数据。 配置输入字段列数,大于原始数据实际包含的字段列数,全部数据成为脏数据。 数据类型转换失败,当前行成为脏数据。
在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Flink”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除
“图表”中的“租户CPU占用率平均值”的具体数值表示当前租户查询任务占用所有BE节点CPU资源的时间占比平均值。 由于排队设计不感知FE的个数,所以租户设置的并发数只在FE粒度生效,因此,“图表”中的“租户查询并发数总和”代表租户整体的并发情况。 服务级别监控 在FusionInsight Manager首页,选择“集群
否,执行3。 等待5分钟,查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行3。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 无。 父主题: MRS集群告警处理参考
下载”,在“服务”勾选“ClickHouseSystemTableDump”。 在“主机”中勾选需要获取的主机信息,单击“确定”。 单击右上角的时间编辑按钮,设置日志收集的“开始时间”和“结束时间”。 收集异常故障日志时间长短可以咨询技术支持人员。 单击“下载”,实时转储的系统表会被保存在本地。 收集一键转储系统表日志
等待5分钟后,在“告警管理”页签,查看该告警是否恢复。 是,处理完毕。 否,执行5。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 无。 父主题: MRS集群告警处理参考
所有语句或只显示保存的语句的运行情况。历史记录存在多个结果时,可以在输入框使用关键字进行搜索。 高级查询配置 单击右上角的,对文件、函数、设置等信息进行配置。 查看快捷键 单击右上角的,可查看所有快捷键信息。 元数据浏览器使用介绍 访问Hue WebUI。 查看Hive表的元数据
如果Streaming应用中使用了state函数,则不允许开启对接Kafka可靠性功能。 配置描述 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.streaming.Kafka.reliability Spark Streaming对接Kafka是否开启可靠性功能: