检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参考ALM-12017 磁盘容量不足对磁盘容量问题进行处理,查看“ALM-12017 磁盘容量不足”告警是否消除。 是,执行12。 否,执行15。 查看omm用户对该目录的所有上层目录是否有“rwx”或者“x”权限。
配置ClickHouse系统表的生命周期 操作场景 ClickHouse没有默认配置系统表的TTL,长期使用可能会占用大量磁盘空间。 本章节指导用户配置系统表的生命周期,仅保留近30天的数据,减少系统表的磁盘使用。 本章节仅适用于MRS 3.2.0之前版本。
原因分析 集群在周期性的备份中,由于备份产生了软连接,将/srv/BigData/LocalBackup连接到了/opt/Bigdata/LocalBackup,会使用到根目录磁盘空间,因为根目录磁盘空间不足,导致无法写入备份文件,导致集群周期备份失败。
配置MRS集群审计日志本地备份数 集群组件的审计日志按名称分类,保存在集群各节点“/var/log/Bigdata/audit”,OMS每天凌晨3点自动备份这些审计日志目录。
或者Broker所在节点只具有内网IP,外部服务通过网闸机映射访问内网。 ZooKeeper服务正常。 Kafka实例状态和磁盘状态均正常。 操作步骤 登录FusionInsight Manager界面。
“/srv/BigData/dbdata_om”所在的分区磁盘空间被占满。 处理步骤 使用admin用户登录到FusionInsight Manager用户管理界面,检查当前报错用户的权限。 用户至少具有Manager的以下权限之一才可以访问。
对系统的影响 系统本地最多只能保存50个转储文件,如果该故障持续存在于转储服务器,会导致本地历史审计日志丢失,查询超过当前时间点的前50条审计日志时无法查询。 可能原因 网络连接异常。 转储服务器的用户名、密码或转储目录不满足配置条件。 转储目录的磁盘空间不足。
HDFS WebUI无法正常刷新损坏数据的信息 问题 当DataNode的“dfs.datanode.data.dir”所配置的目录因权限或者磁盘损坏发生错误时,HDFS Web UI没有显示损坏数据的信息。
挂载目录到新磁盘。例如挂载“${BIGDATA_DATA_HOME}/kafka/data2”到新磁盘。 修改新目录的权限。
挂载目录到新磁盘。例如挂载“${BIGDATA_DATA_HOME}/kafka/data2”到新磁盘。 修改新目录的权限。
HDFS支持集群掉电自动恢复 操作场景 HDFS数据写入磁盘时会先写入操作系统缓存,当操作系统缓存写入完成后则认为数据写入完成,缓存数据写入磁盘工作交由操作系统完成。如果此时集群断电,则缓存的数据就会丢失,造成HDFS丢块现象。
以root用户登录告警节点,执行df -h命令,查看输出内容是否包含“磁盘名”字段的值,用户密码为安装前用户自定义,请咨询系统管理员。 是,执行7。 否,执行6。 执行lsblk命令,是否可以查到“磁盘名”字段值与磁盘设备的映射关系。 是,执行7。 否,执行22。
使用HIndexImportTsv批量生成HBase本地二级索引数据 以客户端安装用户登录安装了客户端的节点。
检查主备节点磁盘空间 分别登录OMS主备节点,查看磁盘使用信息。 执行 df -h / ,查看/目录的可用空间是否大于30G。 否,清理磁盘空间。 是,检查结束。
如果业务设置为本地模式,且使用命令行方式提交时,请确保提交环境为普通模式环境,当前不支持安全环境下使用命令提交本地模式的业务。 父主题: 提交Storm拓扑
使用HIndexImportTsv批量生成HBase本地二级索引数据 以客户端安装用户登录安装了客户端的节点。
安全认证的密钥,在本地选择2获取的“user.keytab”文件。 user.keytab krb5文件 开启安全模式时填写此参数。Kerberos认证用到的配置文件,在本地选择2获取的“krb5.conf”文件。
检查主备节点磁盘空间 分别登录主备OMS节点,查看磁盘使用信息。 执行以下命令,查看“/”目录的可用空间是否大于30GB。 df -h / 否,清理磁盘空间。 是,检查结束。 检查集群是否有非标修改组件配置的操作 询问客户是否有做过相关操作。
Map函数和运算符 下表操作符: [] 描述:[]运算符用于从映射中检索与给定键对应的值。
可以将Doris表映射为DataFrame或者RDD,推荐使用DataFrame。 支持在Doris端完成数据过滤,减少数据传输量。 该章节仅适用于MRS 3.5.0及之后版本。 前提条件 已创建包含Doris服务的集群,集群内各服务运行正常。