检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ssDB的数据目录。 执行df -h命令,查看系统磁盘分区的使用信息。 查看GaussDB数据目录挂载磁盘是否剩余空间不足。 是,执行14。 否,执行15。 联系运维人员进行扩容磁盘。扩容后,等待2分钟检查告警是否清除。 是,操作结束。 否,执行15。 收集故障信息。 在MRS Manager界面,单击“系统设置
配置ClickHouse表为只读表模式 集群内ClickHouseServer节点间数据迁移 迁移MRS集群内ClickHouse数据至其他MRS集群 扩容ClickHouse节点磁盘 通过数据文件备份恢复ClickHouse数据 配置ClickHouse系统表的生命周期 配置ClickHouse默认用户密码(MRS
产生告警的主机名。 磁盘名 产生告警的磁盘名。 附加信息 主机名 产生告警的主机名。 磁盘名 产生告警的磁盘名。 详细信息 慢盘隔离描述信息。 对系统的影响 处于隔离状态的磁盘或者节点不能及时恢复,可能会对大数据组件运行产生影响,进而影响用户业务使用。 可能原因 磁盘或者节点隔离状态超过慢盘处理超时配置时间。
集群管理类 缩容Task节点失败 如何处理集群内部OBS证书过期 MRS集群更换磁盘(适用于2.x及之前) MRS集群更换磁盘(适用于3.x) MRS备份任务执行失败 Core节点出现df显示的容量和du显示的容量不一致 如何解除网络ACL的关联子网 修改节点主机名后导致MRS集群状态异常
否 String 参数解释: 是否跳过引导操作。仅在创建集群时配置了引导操作且扩容时有意义,表示扩容时是否在新增节点上执行创建集群时指定的引导操作。 约束限制: 不涉及 取值范围: true:跳过引导操作。 false:执行引导操作。 默认取值: false scale_without_start
在各个数据节点准备并安装好新磁盘,并格式化磁盘。 已安装好Kafka客户端。 更改Broker单个实例的存储目录时,保持活动的Broker实例数必须大于创建主题时指定的备份数。 操作步骤 更改Kafka角色的存储目录 以root用户登录到安装Kafka服务的各个数据节点中,执行如下操作。 创建目标目录。
在各个数据节点准备并安装好新磁盘,并格式化磁盘。 已安装好Kafka客户端。 更改Broker单个实例的存储目录时,保持活动的Broker实例数必须大于创建主题时指定的备份数。 操作步骤 更改Kafka角色的存储目录 以root用户登录到安装Kafka服务的各个数据节点中,执行如下操作。 创建目标目录。
ALM-45429 ClickHouse扩容节点上同步表元数据失败 本章节仅适用于MRS 3.1.2及之后版本。 告警解释 ClickHouse扩容时创建分布式表对应的本地表失败时产生该告警。 告警属性 告警ID 告警级别 是否自动清除 45429 重要 否 告警参数 参数名称 参数含义
${DBSERVICE_DATA_DIR} 执行df -h命令,查看系统磁盘分区的使用信息。 查看DBservice数据目录空间是否已满。 是,执行3.f。 否,执行4。 扩容升级。 磁盘扩容后,等待2分钟检查告警是否清除。 是,操作结束。 否,执行4。 收集故障信息。 在MRS Manager界面,单击“系统设置
data.dir”所配置的目录因权限或者磁盘损坏发生错误时,HDFS Web UI没有显示损坏数据的信息。 当此错误被修复后,HDFS Web UI没有及时移除损坏数据的相关信息。 回答 DataNode只有在执行文件操作发生错误时,才会去检查磁盘是否正常,若发现数据损坏,则将此错误
为80。 90 本地磁盘 由于本地磁盘会提供给MapReduce写job执行的中间结果,数据量大。因此配置的原则是磁盘尽量多,且磁盘空间尽量大,单个达到百GB以上规模更好。简单的做法是配置和data node相同的磁盘,只在最下一级目录上不同即可。 多个磁盘之间使用逗号隔开。 参数
volumes.cold_obs_volume.disk 配置OBS盘或缓存名称 cold_obs_volume:OBS冷数据存储策略卷名,可以自定义修改。 当不使用本地盘缓存时,配置OBS盘名称,例如disk_s3。 当使用本地磁盘缓存时,配置缓存的名称,例如obs_cache。 storage_configuration
为80。 90 本地磁盘 由于本地磁盘会提供给MapReduce写job执行的中间结果,数据量大。因此配置的原则是磁盘尽量多,且磁盘空间尽量大,单个达到百GB以上规模更合适。简单的做法是配置和data node相同的磁盘,只在最下一级目录上不同即可。 多个磁盘之间使用逗号隔开。 参数
做排序操作,只是将数据根据Hash的结果,将各个reduce分区的数据写到各自的磁盘文件中。 这样带来的问题是如果reduce分区的数量比较大的话,将会产生大量的磁盘文件(比如:该问题中将产生1000000 * 100000 = 10^11个shuffle文件)。如果磁盘文件数量
做排序操作,只是将数据根据Hash的结果,将各个reduce分区的数据写到各自的磁盘文件中。 这样带来的问题是如果reduce分区的数量比较大的话,将会产生大量的磁盘文件(比如:该问题中将产生1000000 * 100000 = 10^11个shuffle文件)。如果磁盘文件数量
图1和图2分别是Balance前后DataNode的磁盘使用率变化。 图1 执行均衡操作前DataNode的磁盘使用率 图2 执行均衡操作后DataNode的磁盘使用率 均衡操作时间估算受两个因素影响: 需要迁移的总数据量: 每个DataNode节点的数据量应大于(平均使用率-
图1和图2分别是Balance前后DataNode的磁盘使用率变化。 图1 执行均衡操作前DataNode的磁盘使用率 图2 执行均衡操作后DataNode的磁盘使用率 均衡操作时间估算受两个因素影响: 需要迁移的总数据量: 每个DataNode节点的数据量应大于(平均使用率-
shuffle.readHostLocalDisk=true,本地磁盘读取shuffle数据,减少网络传输的开销。 开启spark.io.encryption.enabled=false,关闭shuffle过程写加密磁盘,提升shuffle效率。 开启spark.shuffle.service
典型场景:从HDFS/OBS导入数据到HBase 操作场景 该任务指导用户使用Loader将文件从HDFS/OBS导入到HBase。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 确保用户已授权
审计与日志 审计 MRS服务在管理控制台上的操作日志,例如创建或删除MRS集群的日志记录,通过云审计服务(Cloud Trace Service,CTS)实现。CTS是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规