检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > HDFS”修改阈值。 平滑次数为1,HDFS NameNode堆内存使用率小于或等于阈值时,告警恢复;平滑次数大于1,HDFS NameNode堆内存使用率小于或等于阈值的90%时,告警恢复。 告警属性 告警ID
mpt在同一个节点失败多少次,调度器仍然会将task继续调度到该节点,从而导致application因为task失败达到最大attempt次数(MapReduce默认4次)而失败。 规避手段: 在“客户端安装路径/Yarn/config/yarn-site.xml”文件中修改“yarn
已经获取的数据不回退。 说明: “generic-jdbc-connector”的“MYSQL”和“MPPDB”默认批量读写数据,每一批次数据最多只记录一次错误记录。 脏数据目录 设置一个脏数据目录,在出现脏数据的场景中在该目录保存脏数据。如果不设置则不保存。 单击“保存”。 父主题:
SQL引擎支持的各类型SQL防御规则可参考MRS SQL防御规则。 例如添加一条规则ID为“static_0001”,SQL语句中count distinct出现次数超过2就进行“提示”,超过3就进行“拦截”的规则。 登录安装了MySQL的节点,执行以下命令,连接Doris数据库。 若集群已启用Kerb
Hudi表增量查询基于“hoodie.hudisourcetablename.consume.start.timestamp”之后commit的次数。 增量查询:提交次数,如设置为3时,代表增量查询从指定的起始时间之后commit 3次的数据,设为-1时,增量查询从指定的起始时间之后提交的所有数据。
告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > HDFS”修改阈值。 平滑次数为1,故障状态的DataNode数量小于或等于阈值时,告警恢复;平滑次数大于1,故障状态的DataNode数量小于或等于阈值的90%时,告警恢复。 告警属性 告警ID 告警级别
用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Yarn”修改阈值。 平滑次数为1,Yarn ResourceManager堆内存使用率小于或等于阈值时,告警恢复;平滑次数大于1,Yarn ResourceManager堆内存使用率小于或等于阈值的95%时,告警恢复。
for hiveserver2” Hive执行insert into语句报错 增加Hive表字段超时 重启Hive服务失败 Hive分区数过多导致删除表失败 Hive执行msck repair table命令时报错 Hive执行insert into命令报用户权限不足 在Hive中drop表后如何完全释放磁盘空间
IntWritable(age), new IntWritable(1)); } } 实现Reducer类,将map输出结果合并计数,统计不重复的值出现次数,使用HCatRecord输出结果; public static class Reduce extends Reducer<IntWritable
IntWritable(age), new IntWritable(1)); } } 实现Reducer类,将map输出结果合并计数,统计不重复的值出现次数,使用HCatRecord输出结果; public static class Reduce extends Reducer<IntWritable
IntWritable(age), new IntWritable(1)); } } 实现Reducer类,将map输出结果合并计数,统计不重复的值出现次数,使用HCatRecord输出结果; public static class Reduce extends Reducer<IntWritable
登录FusionInsight Manager,选择“运维 > 告警 > 阈值设置 > meta > OBS的write接口调用失败总数”,将阈值或平滑次数参数的值根据实际情况调大。 观察界面告警是否清除。 是,处理完毕。 否,执行3。 联系OBS运维人员查看OBS服务是否正常。 是,执行4。
登录FusionInsight Manager,选择“运维 > 告警 > 阈值设置 > meta > OBS的readFully接口调用失败总数”,将阈值或平滑次数参数的值根据实际情况调大。 观察界面告警是否清除。 是,处理完毕。 否,执行3 联系OBS运维人员查看OBS服务是否正常。 是,执行4。
登录FusionInsight Manager,选择“运维 > 告警 > 阈值设置 > meta > OBS的read接口调用失败总数”,将阈值或平滑次数参数的值根据实际情况调大。 观察界面告警是否清除。 是,处理完毕。 否,执行3。 联系OBS运维人员查看OBS服务是否正常。 是,执行4。
/mnt/obs/test_data.csv 输出显示了该文件在Alluxio中缓存占比为0%,即不在Alluxio内存中。 统计该文件中单词"milk"出现的次数,并计算耗时。 time alluxio fs cat /mnt/obs/test_data.csv | grep -c milk 52180
从ogg同步数据到Hudi时,ogg Source配置的Task值与任务实际运行的Task数量不一致 CDL同步任务名对应的Topic分区过多 执行CDL同步数据到Hudi任务报错当前用户无权限创建表 启动从PgSQL中抓取数据到Hudi任务报错 父主题: 使用CDL
eProgress是由于HDFS客户端多次尝试close文件,但是由于当前状态不满足要求,导致close失败, HDFS客户端retry的次数是由参数dfs.client.block.write.locateFollowingBlock.retries决定的,该参数默认是5,所以
balancer.auto.maxIdleIterations Balancer的最大连续空闲迭代次数。一次空闲迭代为没有Block块被移动的迭代,当连续空闲迭代次数达到最大连续空闲迭代次数时,本次Balancer结束。当取值为-1时,代表无穷大。 5 dfs.balancer.auto
整性提供了灵活的保障。当处理带有Watermark的事件流时,在计算完成之后仍然有相关数据到达时,Flink提供了多种处理选项,如将数据重定向(side output)或更新之前完成的计算结果。 Processing-time和Ingestion-time。 高度灵活的流式窗口:
OBS数据读操作接口调用成功率 选择“集群 > 待操作集群的名称 > 运维 > 告警 > 阈值设置 > meta > OBS数据读操作接口调用成功率”,将阈值或平滑次数参数的值根据实际情况调小。 观察界面告警是否清除。 是,处理完毕。 否,执行5。 收集故障信息。 在FusionInsight Manager界面,选择“运维