检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
启动失败 问题 当Standby NameNode存储元数据（命名空间）时，出现断电的情况，Standby NameNode启动失败并发生如下错误信息。 回答 当Standby NameNode存储元数据（命名空间）时，出现断电的情况，Standby NameNode启动失败，M
HDFS客户端安装在数据节点导致数据分布不均衡 节点内DataNode磁盘使用率不均衡 执行balance常见问题定位方法 HDFS显示磁盘空间不足，其实还有10%磁盘空间 使用普通集群Core节点上安装的HDFS客户端时报错“error creating DomainSocket” 集群外节点安装客户端上传HDFS文件失败
ception 写入更新数据时报错SchemaCompatabilityException Hudi在upsert时占用了临时文件夹中大量空间 Hudi写入小精度Decimal数据失败 使用Spark SQL删除MOR表后重新建表写入数据无法同步ro、rt表 使用kafka采集数
FILES SET/RESET CarbonData表操作并发语法说明 CarbonData Segment API语法说明 CarbonData表空间索引语法说明 父主题： 使用CarbonData
将/srv/BigData/LocalBackup连接到了/opt/Bigdata/LocalBackup，会使用到根目录磁盘空间，因为根目录磁盘空间不足，导致无法写入备份文件，导致集群周期备份失败。 处理步骤 分别登录主、备Master节点。 执行cd /srv/BigData/命令进入到备份文件所在目录。
如何在不同的namespaces上逻辑地分割数据 为什么在Spark Shell中不能执行更新命令？ 如何在CarbonData中配置非安全内存？ 设置了HDFS存储目录的磁盘空间配额，CarbonData为什么会发生异常？ 开启防误删下，为什么Carbon表没有执行drop table命令，回收站中也会存在该表的文件？
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 向ZooKeeper数据目录空间写入大量数据，导致依赖本目录（详细参见告警定位信息）的上游组件（例如Yarn、Flink、Spark等）的业务异常。 可能原因 往ZooKeeper数据目录空间写入大量数据，或者自定义阈值设置不合理。 处理步骤 检查告警目录是否写入大量数据
如何在不同的namespaces上逻辑地分割数据 为什么在Spark Shell中不能执行更新命令？ 如何在CarbonData中配置非安全内存？ 设置了HDFS存储目录的磁盘空间配额，CarbonData为什么会发生异常？ 为什么数据查询/加载失败，且发生“org.apache.carbondata.core.memory
对系统的影响 向ZooKeeper数据目录空间写入大量数据，导致ZooKeeper无法对外正常提供服务，导致依赖告警目录的上游组件（例如Yarn、Flink、Spark等）的业务异常。 可能原因 往ZooKeeper数据目录空间写入大量数据。 自定义阈值设置不合理。 处理步骤
若存在自行挂载的数据盘，未能扩展磁盘分区和文件系统，请参考扩展数据盘的分区和文件系统（Linux）进行处理或联系华为云技术支持进行处理。 补丁下载地址 上海一：https://mrs-container1-patch-cn-east-3.obs.cn-east-3.myhuaweicloud.com/MRS_Comm
集群外节点提交Spark作业时报错无法连接Driver 运行Spark任务发现大量shuffle结果丢失 JDBCServer长时间运行导致磁盘空间不足 spark-shell执行SQL跨文件系统load数据到Hive表失败 Spark任务提交失败 Spark任务运行失败 JDBCServer连接失败
reserved”来配置预留磁盘空间大小。配置较小的数值不能满足更大的磁盘要求。但对于更小的磁盘配置更大的数值将浪费大量的空间。 为了避免这种情况，添加一个新的参数“dfs.datanode.du.reserved.percentage”来配置预留磁盘空间占总磁盘空间大小的百分比，那样可以基于总的磁盘空间来预留磁盘百分比。
告该DataNode的数据存放情况。 NameNode 用于管理文件系统的命名空间、目录结构、元数据信息以及提供备份机制等。 Active NameNode：主NameNode，管理文件系统的命名空间、维护文件系统的目录结构树以及元数据信息；记录写入的每个“数据块”与其归属文件的对应关系。
the page. 原因分析 当前登录的用户没有访问Manager的权限。 “/srv/BigData/dbdata_om”所在的分区磁盘空间被占满。 处理步骤 使用admin用户登录到FusionInsight Manager用户管理界面，检查当前报错用户的权限。 用户至少具有
MRS集群内节点上的sudo log文件是omm用户的操作记录，以方便问题的定位，用户可以清理。 因为日志占用了一部分存储空间，建议管理员清除比较久远的操作日志释放资源空间。 日志文件较大，可以将此文件目录添加到“/etc/logrotate.d/syslog”中，让系统做日志老化 ，定时清理久远的日志
使用Kafka Kafka数据消费概述 Kafka用户权限管理 Kafka客户端使用实践 快速使用Kafka生产消费数据 创建Kafka Topic 在Kafka Topic中接入消息 管理Kafka Topic Kafka企业级能力增强 Kafka性能调优 Kafka运维管理 Kafka常见问题
reserved”来配置预留磁盘空间大小。配置较小的数值不能满足更大的磁盘要求。但对于更小的磁盘配置更大的数值将浪费大量的空间。 为了避免这种情况，添加一个新的参数“dfs.datanode.du.reserved.percentage”来配置预留磁盘空间占总磁盘空间大小的百分比，那样可以基于总的磁盘空间来预留磁盘百分比。
ALM-45175 OBS元数据接口调用平均时间超过阈值 ALM-45176 OBS元数据接口调用成功率低于阈值 ALM-45177 OBS数据读操作接口调用成功率低于阈值 ALM-45178 OBS数据写操作接口调用成功率低于阈值 ALM-45179 OBS readFully接口调用失败数高于阈值
ataNode写数据时的磁盘选择策略为“节点磁盘可用空间块放置策略”，可提高将块数据写到磁盘可用空间较大节点的概率，解决因为数据节点磁盘容量不一致导致的节点使用率不均衡的情况。 对系统的影响 修改磁盘选择策略为“节点磁盘可用空间块放置策略（org.apache.hadoop.hdfs
ataNode写数据时的磁盘选择策略为“节点磁盘可用空间块放置策略”，可提高将块数据写到磁盘可用空间较大节点的概率，解决因为数据节点磁盘容量不一致导致的节点使用率不均衡的情况。 对系统的影响 修改磁盘选择策略为“节点磁盘可用空间块放置策略（org.apache.hadoop.hdfs
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
