检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-45429 ClickHouse扩容节点上同步表元数据失败 本章节仅适用于MRS 3.1.2及之后版本。 告警解释 ClickHouse扩容时创建分布式表对应的本地表失败时产生该告警。 告警属性 告警ID 告警级别 是否自动清除 45429 重要 否 告警参数 参数名称 参数含义
为80。 90 本地磁盘 由于本地磁盘会提供给MapReduce写job执行的中间结果，数据量大。因此配置的原则是磁盘尽量多，且磁盘空间尽量大，单个达到百GB以上规模更好。简单的做法是配置和data node相同的磁盘，只在最下一级目录上不同即可。 多个磁盘之间使用逗号隔开。 参数
MRS集群Core节点扩容成功后状态异常如何处理 问题现象 Core节点扩容可能存在扩容节点完成，但节点上存在启动失败的实例的情况，现象如下： Core节点已经扩容完成，节点管理页面可以看到新扩容的节点： 任务管理中有添加节点的任务失败或部分成功： 若IAM用户已同步，可在组件管理观察到存在未启动角色。
新数据写入失败，任务中断。 可能原因 集群磁盘容量已满。 BE节点间数据倾斜。 处理步骤 登录FusionInsight Manager页面，选择“运维 > 告警 > 告警”，查看当前告警“定位信息”中的角色名并确认主机名所在的IP地址。 扩容告警上报节点的磁盘容量。 扩容失败，或扩容后告警仍然没有消除，执行4。
做排序操作，只是将数据根据Hash的结果，将各个reduce分区的数据写到各自的磁盘文件中。 这样带来的问题是如果reduce分区的数量比较大的话，将会产生大量的磁盘文件（比如：该问题中将产生1000000 * 100000 = 10^11个shuffle文件）。如果磁盘文件数量
做排序操作，只是将数据根据Hash的结果，将各个reduce分区的数据写到各自的磁盘文件中。 这样带来的问题是如果reduce分区的数量比较大的话，将会产生大量的磁盘文件（比如：该问题中将产生1000000 * 100000 = 10^11个shuffle文件）。如果磁盘文件数量
查看当前集群是否存在正在运行的任务。 是，等待任务运行结束。 否，检查结束。 检查主备节点磁盘空间 分别登录OMS主备节点，查看磁盘使用信息。 执行 df -h / ，查看/目录的可用空间是否大于30G。 否，清理磁盘空间。 是，检查结束。 检查集群是否已经支持root补丁特性 集群是否已经安装了MRS
为80。 90 本地磁盘 由于本地磁盘会提供给MapReduce写job执行的中间结果，数据量大。因此配置的原则是磁盘尽量多，且磁盘空间尽量大，单个达到百GB以上规模更合适。简单的做法是配置和data node相同的磁盘，只在最下一级目录上不同即可。 多个磁盘之间使用逗号隔开。 参数
shuffle.readHostLocalDisk=true，本地磁盘读取shuffle数据，减少网络传输的开销。 开启spark.io.encryption.enabled=false，关闭shuffle过程写加密磁盘，提升shuffle效率。 开启spark.shuffle.service
集群管理类 缩容Task节点失败 如何处理集群内部OBS证书过期 MRS集群更换磁盘（适用于2.x及之前） MRS集群更换磁盘（适用于3.x） MRS备份任务执行失败 Core节点出现df显示的容量和du显示的容量不一致 如何解除网络ACL的关联子网 修改节点主机名后导致MRS集群状态异常
Manager首页，选择“运维 > 告警 > 告警”，查看是否存在告警“ALM-12017 磁盘容量不足”。 是，执行14。 否，执行15。 参考ALM-12017 磁盘容量不足对磁盘容量问题进行处理，查看“ALM-12017 磁盘容量不足”告警是否消除。 是，执行12。 否，执行15。 查看omm用
MRS服务在管理控制台上的操作日志，例如创建或删除MRS集群的日志记录，通过云审计服务（Cloud Trace Service，CTS）实现。CTS是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。
d。 单击“告警管理”，查看是否存在告警“ALM-12017 磁盘容量不足”。 是，执行3.e。 否，执行3.f。 参考ALM-12017 磁盘容量不足（2.x及以前版本）对磁盘容量问题进行处理，查看“ALM-12017 磁盘容量不足”告警是否消除。 是，执行3.c。 否，执行7。
典型场景：从HDFS/OBS导出数据到SFTP服务器 操作场景 该任务指导用户使用Loader将数据从HDFS/OBS导出到SFTP服务器。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取SF
云审计服务（CTS）为用户提供MRS资源操作请求及请求结果的操作记录，供用户查询、审计和回溯使用。 云审计支持的MRS操作列表 云硬盘（Elastic Volume Service） 云硬盘可以为MRS使用的弹性云服务器提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务，可满足不同场景的业务需求。 扩容数据盘
access the page. 原因分析 当前登录的用户没有访问Manager的权限。 “/srv/BigData/dbdata_om”所在的分区磁盘空间被占满。 处理步骤 使用admin用户登录到FusionInsight Manager用户管理界面，检查当前报错用户的权限。 用户至少
echo ${DBSERVICE_DATA_DIR} 执行df -h命令，查看系统磁盘分区的使用信息。 查看DBservice数据目录空间是否已满。 是，执行14。 否，执行16。 对节点磁盘进行扩容。 磁盘扩容后，等待2分钟检查告警是否清除。 是，操作结束。 否，执行16。 收集故障信息。
ClickHouse数据查询 数据查询规则 禁止select *查询 只查询需要的字段可以减少磁盘io和网络io，提升查询性能。 使用uniqCombined替代distinct uniqCombined对去重逻辑进行了优化，通过近似去重提升十倍查询性能，如果对查询允许有误差，可
使用Loader从HDFS/OBS导出数据到关系型数据库 操作场景 该任务指导用户使用Loader将数据从HDFS/OBS导出到关系型数据库。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。
使用Loader从关系型数据库导入数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
