检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不涉及 取值范围: 不涉及 默认取值: 不涉及 input String 参数解释: 数据输入地址。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 output String 参数解释: 数据输出地址。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 job_log
anager”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
见Kafka安全接口介绍) SimpleConsumer API属于lowlevel的Consumer API需要访问zookeeper元数据,管理消费Topic队列的offset,一般情况不推荐使用。 代码样例 SimpleConsumer API主方法需要传入三个参数,最大消
在“服务”中勾选待操作集群的“Spark2x”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
在“服务”中勾选待操作集群的“Spark2x”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
在“服务”勾选待操作集群的“HBase”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
NodeAgent Yarn 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
--执行clean操作清理冗余版本。 run archivelog on $tablename; --执行archivelog合并清理元数据文件。 关于清理、归档参数的值不宜设置过大,会影响Hudi表的性能,通常建议: hoodie.cleaner.commits.retained
查看作业详细信息 在“Job Browser”的作业列表,单击作业所在的行,可以打开作业详情。 在“Metadata”页签,可查看作业的元数据。 单击可打开作业运行时的日志。 父主题: 使用Hue(MRS 3.x之前版本)
isk(Used|Total)”和“Memory(Used|Total)”。 在“Brokers Metrics”处可查看Broker节点数据流量的jmx指标,包括在不同时段的时间窗口内,Broker节点平均每秒流入消息条数, 每秒流入消息字节数, 每秒流出消息字节数,每秒失败的
生成的字段名。 操作:配置操作符。 比较值:配置比较值,可直接输入值或输入“#{已存在的字段名}”格式引用字段的具体值。 map 是 无 数据处理规则 首先判断条件是否成立。如果成立,更新字段的值;如果不成立,则不更新。 当更新字段为数值类型时,更新值需要为数值。 当更新字段为字符串类型时,更新操作不能为“-”。
生成的字段名。 操作:配置操作符。 比较值:配置比较值,可直接输入值或输入“#{已存在的字段名}”格式引用字段的具体值。 map 是 无 数据处理规则 首先判断条件是否成立。如果成立,更新字段的值;如果不成立,则不更新。 当更新字段为数值类型时,更新值需要为数值。 当更新字段为字符串类型时,更新操作不能为“-”。
onfig”命令,系统回显中“eth0:wsom”表示OMS浮动IP地址,请记录“inet”的实际参数值。如果在Master2节点无法查询到OMS浮动IP地址,请切换到Master1节点查询并记录。如果只有一个Master节点时,直接在该Master节点查询并记录。 LDAP管理
NodeAgent Yarn 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
Spark并发写Hudi建议 涉及到并发场景,推荐采用分区间并发写的方式:即不同的写入任务写不同的分区 分区并发参数控制: SQL方式: set hoodie.support.partition.lock=true; DataSource Api方式: df.write .format("hudi")
文件最大打开句柄数设置太小导致读写文件异常 问题背景与现象 文件最大打开句柄数设置太小,导致文件句柄不足。写文件到HDFS很慢,或者写文件失败。 原因分析 DataNode日志“/var/log/Bigdata/hdfs/dn/hadoop-omm-datanode-XXX.log”,存在异常提示java
提交Flink任务时launcher-job被Yarn终止如何处理? 提交Flink作业时报错slot request timeout如何处理? DistCP作业导入导出数据常见问题 如何通过Yarn WebUI查看Hive作业对应的SQL语句? 如何查看指定Yarn任务的日志? 添加Hive服务后,提交hiv
在“主机”中勾选对应角色所在的主机,单击“确定”。 单击右上角的,设置日志收集的“开始时间”和“结束时间”,分别为告警产生时间的前后30分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
不涉及 取值范围: 不涉及 默认取值: 不涉及 input String 参数解释: 数据输入地址。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 output String 参数解释: 数据输出地址。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 job_log
默认取值: 不涉及 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。