检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当前按需计费MRS集群资源的规格不满足您的业务需要时，您可以在MRS控制台发起变更规格操作，MRS提供如下几种变更配置的方式： 扩容：手动扩容Core或Task节点，请参见扩容集群；扩容数据盘，请参见扩容数据盘。 升级规格：升级Master节点的实例规格，请参见升级Master节点规格。 弹性伸缩：根据业
MRS集群容量调整 扩容MRS集群 扩容MRS集群节点数据盘 缩容MRS集群 缩容ClickHouseServer节点 退订MRS包周期集群指定节点 MRS集群Task节点弹性伸缩 父主题： MRS集群运维
创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。
解决Hive开启向量化参数后使用split函数执行MR任务效率很低问题 解决Hive开启向量化后查询包含nvl函数和decimal(10,5)字段类型的表报错问题 解决Tez分区空目录报错，报目录不存在问题 解决MR任务提交慢问题 解决Spark2x创建UDF的jar包放到OBS路径上会查询UDF报错 解决Alluxio
properties，有可能导致文件丢失。 MRS集群节点内存占满，磁盘出现踢盘，盘分区丢失。 LdapServer数据一致性检查增强。LDAP主备关键数据不一致，未能及时上报告警。 Kafka Topic名称带有短横线分隔符，磁盘隔离后自动恢复失败。 Kafka新增时延监控转告警，包括T
ClickHouse数据导入 配置ClickHouse对接RDS MySQL数据库 配置ClickHouse对接OBS源文件 同步Kafka数据至ClickHouse 导入DWS表数据至ClickHouse ClickHouse数据导入导出 父主题： 使用ClickHouse
clusters; 集群存储空间 集群退服操作前，集群非退服节点磁盘空间需要满足存储所有退服节点的数据，并且各非退服节点的存储空间在退服后还能有大约10%的空间冗余，保证退服后剩余实例正常运行。具体操作步骤如下： 执行此命令收集各节点磁盘空间存储情况： select * from
Master节点数据磁盘存储类别，目前支持SATA、SAS和SSD。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 masterDataVolumeSize Integer 参数解释： Master节点数据磁盘存储空间。为增大数据存储容量，创建集群时可同时添加磁盘。单位为GB。
MRS导入数据至HDFS 04:30 MRS导入数据至HDFS MapReduce服务 MRS 配置存算分离并使用Hive访问OBS 05:47 配置存算分离并使用Hive访问OBS MapReduce服务 MRS 登录MRS集群节点 04:08 登录MRS集群节点 MapReduce服务 MRS
当前包年/包月MRS集群资源的规格不满足您的业务需要时，您可以在MRS控制台发起变更规格操作，MRS提供如下几种变更配置的方式： 扩容：手动扩容Core或Task节点，请参见扩容集群；扩容数据盘，请参见扩容数据盘。 升级规格：升级Master节点的实例规格，请参见升级Master节点规格。 弹性伸缩：根据业
x及之后版本） 操作场景 为了确保FusionInsight Manager系统日常数据安全，或者系统管理员需要对Manager进行重大操作（如扩容、减容等）前后，需要对Manager数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。
ercentage 配置Container日志目录可以占用每块磁盘上Yarn的磁盘配额的最大百分比。当日志目录占用空间超过此设定值时，将触发周期性日志收集服务启动一次周期外的日志收集活动，以释放本地磁盘空间。每个磁盘上可提供给Container logs的最大可使用率。当Container
恢复数据目录及其子目录的属组为omm:wheel。 检查数据目录所在磁盘是否故障。 使用omm用户，在所提示的数据目录的上一级目录下，进行创建、删除文件测试，看能够正常读写磁盘。 是，执行6。 否，执行5。 更换或者修复数据目录所在磁盘，保证其可以正常读写。 在FusionInsight Manager首页，选择“集群
EditLog不连续导致NameNode启动失败 问题 在JournalNode节点有断电，数据目录磁盘占满，网络异常时，会导致JournalNode上的EditLog不连续。此时如果重启NameNode，很可能会失败。 现象 重启NameNode会失败。在NameNode运行日志中会报如下的错误：
PostgreSQL或Opengauss（适用于MRS 3.3.0及之后版本）积压过多的WAL日志，可能导致PostgreSQL或Opengauss磁盘空间耗尽。系统每5分钟检查CDL任务配置的复制槽Slot积压数据量是否超过阈值，如果是，则产生该告警。复制槽Slot积压低于阈值，告警恢复。
Spark的Shuffle过程需要写本地磁盘，Shuffle是Spark性能的瓶颈，I/O是Shuffle的瓶颈。配置多个磁盘则可以并行的把数据写入磁盘。如果节点中挂载多个磁盘，则在每个磁盘配置一个Spark的localDir，这将有效分散Shuffle文件的存放，提高磁盘I/O的效率。如果只有一个磁盘，配置了多个目录，性能提升效果不明显。
多个服务的补丁安装/卸载操作。 滚动安装补丁 BootStrap自定义引导操作 引导操作是指启动集群组件前（或后）在指定的节点上执行脚本。您可以通过引导操作来完成安装其他第三方软件，修改集群运行环境等自定义操作。 如果集群扩容，选择执行引导操作，则引导操作也会以相同方式在新增节点
执行Kafka Topic删除操作时发现无法删除 执行Kafka Topic删除操作时提示“AdminOperationException” 执行Kafka Topic创建操作时发现无法创建提示“NoAuthException” 执行Kafka Topic设置ACL操作失败，提示“NoAuthException”
每进行一次实例负载采集间隔的时间。单位：秒。 10 扩容阈值 当实例资源的使用率在伸缩决策周期内的平均值都超过此阈值，实例自动启动扩容操作。 0.9 扩容量 当实例启动扩容时，每次扩容的Worker数量。 1 扩容决策周期 决策实例是否需要扩容的时间周期。单位：秒。 200 扩容超时时间 扩容操作的超时时间。单位:秒。
ercentage 配置Container日志目录可以占用每块磁盘上YARN的磁盘配额的最大百分比。当日志目录占用空间超过此设定值时，将触发周期性日志收集服务启动一次周期外的日志收集活动，以释放本地磁盘空间。每个磁盘上可提供给Container logs的最大可使用率。当Container
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
