检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
200ms 磁盘 HDFS磁盘空间使用率 HDFS磁盘空间使用率。 80% DataNode磁盘空间使用率 HDFS文件系统中DataNode可以使用的磁盘空间率。 80% 总副本预留磁盘空间所占比率 总副本预留磁盘空间占DataNode总未使用磁盘空间的百分比。
set hive.auto.convert.join=true; 使用Map Join时没有Reduce任务，而是在Map任务前起了一个MapReduce Local Task，这个Task通过TableScan读取小表内容到本机，在本机以HashTable的形式保存并写入硬盘上传到
Hudi常见问题 写入更新数据时报错Parquet/Avro schema 写入更新数据时报错UnsupportedOperationException 写入更新数据时报错SchemaCompatabilityException Hudi在upsert时占用了临时文件夹中大量空间
SECONDARY INDEX SHOW SECONDARY INDEXES DROP SECONDARY INDEX CLEAN FILES SET/RESET CarbonData表操作并发语法说明 CarbonData Segment API语法说明 CarbonData表空间索引语法说明
减少了一个groupByKey，也就减少了一次shuffle操作，提升了性能。 父主题： Spark Core调优
可能存在以下场景，在ZooKeeper中创建的数据过大，需要大量时间与leader同步，并保存到硬盘。在这个过程中，如果ZooKeeper需要运行很长时间，则需确保没有其他监控应用程序kill ZooKeeper而判断其服务停止。 父主题： ZooKeeper常见问题
减少了一个groupByKey，也就减少了一次shuffle操作，提升了性能。 父主题： Spark Core性能调优
这不会减少从磁盘读取采样表所需的时间。如果进一步处理采样输出，则可能会影响总查询时间。 SELECT * FROM users TABLESAMPLE BERNOULLI (50); SYSTEM 此采样方法将表划分为数据的逻辑段，并按此粒度对表进行采样。
减少了一个groupByKey，也就减少了一次shuffle操作，提升了性能。 父主题： Spark Core性能调优
可能存在以下场景，在ZooKeeper中创建的数据过大，需要大量时间与leader同步，并保存到硬盘。在这个过程中，如果ZooKeeper需要运行很长时间，则需确保没有其他监控应用程序kill ZooKeeper而判断其服务停止。 父主题： ZooKeeper常见问题
当前所有的云硬盘已经售罄, 请稍后重试。 请尝试重新发起调用，或联系技术支持 400 12000140 Evs volume type:xxx is sellout, please try again later. 当前云硬盘:xxx已经售罄, 请稍后重试。
对系统的影响 Flume Channel的磁盘空间使用量有继续增长的趋势，将会使数据导入到指定目的地的时间增长，当Flume Channel的磁盘空间使用量达到100%时会导致Flume Agent进程暂停工作。 可能原因 Flume Sink故障，导致数据无法发送。
更换故障硬盘。 检查告警是否清除。 是，操作结束。 否，执行5。 收集故障信息。 在MRS Manager界面，选择“系统设置 > 日志导出” 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
12000ms Hive已经使用的HDFS空间占可使用空间的百分比 16001 Hive数据仓库空间使用率超过阈值 系统可能无法正常写入数据，导致部分数据丢失。
解决办法 排查启动的MapReduce任务是否对应的HDFS文件个数很多，如果很多，减少文件数量，提前先合并小文件或者尝试使用combineInputFormat来减少任务读取的文件数量。
图2 无同分布与同分布数据块分布对比 HDFS开源增强特性：硬盘坏卷设置 在开源版本中，如果为DataNode配置多个数据存放卷，默认情况下其中一个卷损坏，则DataNode将不再提供服务。
可以通过修改全局数据的保留期为较短时间来释放磁盘空间，该方式需要重启Kafka服务才能生效，可能会影响业务运行。具体请参见7。 可以单独将topic的数据保留期改为较短时间来释放磁盘空间，该方式无需重启Kafka服务即可生效。具体请参见8。
查看服务器端保存路径是否有足够磁盘空间。 登录服务器端，查看当前保存路径下是否有足够磁盘空间。 是，执行11。 否，执行10。 删除多余文件，或在监控指标转储配置页面更改保存目录。然后检查告警是否恢复。 是，执行完毕。 否，执行11。 收集故障信息。
设置了HDFS存储目录的磁盘空间配额，CarbonData为什么会发生异常？ 开启防误删下，为什么Carbon表没有执行drop table命令，回收站中也会存在该表的文件？
进入配置空间监控子页面，单击“添加”。 在名称空格中填写监控的表名称（或其他用户自定义的别名），在路径中填写需要监控表的路径。单击“确定”。该监控的横坐标为时间，纵坐标为监控目录的大小。 父主题： Hive常见问题
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
