检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
region的endKey为参数中的startKey,最后一个region的StartKey为参数中的endKey。如果region的数量过多,该方法可能调用超时。 void createTable(final HTableDescriptor desc, byte[][] splitKeys)
/mnt/obs/test_data.csv 输出显示了该文件在Alluxio中缓存占比为0%,即不在Alluxio内存中。 统计该文件中单词"milk"出现的次数,并计算耗时。 time alluxio fs cat /mnt/obs/test_data.csv | grep -c milk 52180
er本身没有影响。 可能原因 Flink作业RocksDB的Pending Flush请求数量过多。 处理步骤 在TaskManager日志检查是否Pending Flush请求数量过多并收集日志 使用具有FlinkServer管理操作权限的用户登录FusionInsight Manager。
可能原因 Flink作业RocksDB的Pending Compaction请求数量过多。 处理步骤 在TaskManager日志检查是否Pending Compaction请求数量过多并收集日志 使用具有FlinkServer管理操作权限的用户登录FusionInsight
balancer.auto.maxIdleIterations Balancer的最大连续空闲迭代次数。一次空闲迭代为没有Block块被移动的迭代,当连续空闲迭代次数达到最大连续空闲迭代次数时,本次Balancer结束。当取值为-1时,代表无穷大。 5 dfs.balancer.auto
eProgress是由于HDFS客户端多次尝试close文件,但是由于当前状态不满足要求,导致close失败, HDFS客户端retry的次数是由参数dfs.client.block.write.locateFollowingBlock.retries决定的,该参数默认是5,所以
Environment to continue. 使用free指令查看,该节点确实没有足够内存。 解决办法 现场进行排查内存不足原因,确认是否有某些进程占用过多内存,或者由于服务器自身内存不足。 父主题: 使用HBase
IntWritable(age), new IntWritable(1)); } } 实现Reducer类,将map输出结果合并计数,统计不重复的值出现次数,使用HCatRecord输出结果; public static class Reduce extends Reducer<IntWritable
解决HIVE-22771开源问题 解决Hive beeline不打印日志的问题 解决Yarn页面上active node数目不对问题 解决RM线程数过多导致RM页面打开慢问题 支持OBS监控 OBS包升级 解决hive-jdbc并发插入10条数据时部分数据未插入问题 解决hive偶现报kryo反序列化失败问题
OBS数据读操作接口调用成功率 选择“集群 > 待操作集群的名称 > 运维 > 告警 > 阈值设置 > meta > OBS数据读操作接口调用成功率”,将阈值或平滑次数参数的值根据实际情况调小。 观察界面告警是否清除。 是,处理完毕。 否,执行5。 收集故障信息。 在FusionInsight Manager界面,选择“运维
对车主的驾驶行为进行分析统计,得到用户驾驶行为的分析结果,分析统计指定时间段内,车主急加速、急减速、空挡滑行、超速、疲劳驾驶等违法行为的次数。 使用Hive加载HDFS数据并分析图书评分情况 本实践指导使用Hive对原始数据进行导入、分析等操作,展示了如何构建弹性、低成本的离线
际磁盘条件设置。 10 dfs.disk.balancer.max.disk.errors 设置能够容忍的在指定的移动过程中出现的最大错误次数,超过此阈值则移动失败。 5 dfs.disk.balancer.block.tolerance.percent 设置磁盘之间进行数据均衡
OBS接口调用成功率 选择“集群 > 待操作集群的名称 > 运维 > 告警 > 阈值设置 > meta > OBS元数据接口调用成功率”,将阈值或平滑次数参数的值根据实际情况调小。 观察界面告警是否清除。 是,处理完毕。 否,执行5。 收集故障信息。 在FusionInsight Manager界面,选择“运维
OBS数据写操作接口调用成功率 选择“集群 > 待操作集群的名称 > 运维 > 告警 > 阈值设置 > meta > OBS数据写操作接口调用成功率”,将阈值或平滑次数参数的值根据实际情况调小。 观察界面告警是否清除。 是,处理完毕。 否,执行5。 收集故障信息。 在FusionInsight Manager界面,选择“运维
Flink作业连续checkpoint失败”告警,根据告警信息修复告警后,健康状态自动恢复至健康。 出现“ALM-45638 Flink作业失败重启次数超阈值”告警,根据告警信息修复告警后,需重启该作业,作业自动恢复至健康。 前提条件 集群运行正常,并已安装集群客户端。 提交作业前,需配置
CarbonData表使用的数据文件的block大小,默认值为1024,取值范围为1~2048,单位为MB。 如果“table_blocksize”值太小,数据加载时将生成过多的小数据文件,可能会影响HDFS的使用性能。 如果“table_blocksize”值太大,数据查询时索引匹配的block数据量较大,导致读取并发度不高,从而降低查询性能。
否,执行7。 选择“运维 > 告警 > 阈值设置 > 待操作的集群名称 > Doris > 租户资源”,根据实际业务适当调大该告警的阈值和平滑次数。等待任务结束之后,在告警列表中查看该告警是否清除。 是,操作结束。 否,执行8。 收集故障信息 在FusionInsight Manager界面,选择“运维
产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 Broker的分区数超出阈值,过多的分区会加剧Broker的负载,使得内存、磁盘IO、CPU等资源出现瓶颈,最终导致请求响应变慢,甚至超时。 可能原因 Broker的分区分布不均衡,或Kafka集群超规格使用。
adoop文件系统。 countByKey() 对每个key出现的次数做统计。 foreach(func) 在数据集的每一个元素上,运行函数。 countByValue() 对RDD中每个不同value出现的次数进行统计。 Spark Streaming常用接口 Spark Streaming中常见的类有:
adoop文件系统。 countByKey() 对每个key出现的次数做统计。 foreach(func) 在数据集的每一个元素上,运行函数。 countByValue() 对RDD中每个不同value出现的次数进行统计。 Spark Streaming常用接口 Spark Streaming中常见的类有: