检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
16补丁，此时安装MRS 3.1.0.0.16补丁会提示需要用户输入root密码或者密钥。 否，需要先安装MRS 3.1.0.0.8补丁，安装完需要重启相关服务，具体请参考MRS 3.2.0-LTS.1.8版本补丁说明。 检查是否安装了MRS_3x_Patch_Diskmgt_v2.1_20230322紧急补丁
弹性云服务器的CPU架构需和MRS集群节点保持一致。 弹性云服务器客户端安装目录需要分配足够的磁盘空间，至少40GB。 弹性云服务器需要与MRS集群在同一个VPC网络及安全组中。 MRS集群安全组入方向将所有端口对客户端节点放开，具体操作请参考添加安全组规则。 弹性云服务器操作系
控页面。 集群中部分服务提供服务级别的资源监控项，默认显示12小时的监控数据。用户可单击自定义时间区间。单击可导出相应报表信息，无数据的监控项无法导出报表。支持资源监控的服务及监控项如下表所示。 表1 服务资源监控 服务 监控指标 说明 HDFS 资源使用（按租户） 按租户统计HDFS的资源使用情况。
MRS不支持退订部署了ZooKeeper、Kudu、Kafka及ClickHouse服务的节点。 MRS 3.1.2之前版本ClickHouse服务的节点不支持退订。 MRS 3.1.2及之后版本ClickHouse服务的节点，必须等退服成功后，才能进行退订操作。 退订包周期集群指定节点操作
管理MRS集群备份恢复任务 系统管理员可以通过Manager修改已创建的备份任务的配置参数，以适应业务需求的变化。不支持修改任何恢复任务配置参数，只能查看恢复任务的配置参数。 对系统的影响 修改备份任务后，新的参数在下一次执行任务时生效。 前提条件 已创建备份任务。 已根据业务实际需求，规划新的备份任务策略。
登录Manager页面，进入待操作组件实例页签。 MRS 3.x及之后版本：选择“集群 > 服务”，单击服务视图中指定的服务名称，并选择“实例”页签。 MRS 2.x及之前版本：单击“服务管理”，单击服务列表中指定的服务名称，并选择“实例”页签。 勾选指定的待退服角色实例。 在“更多”选择“退服”或“入服”。
Hive元数据 连接类型 RDS服务PostgreSQL数据库（1.9.x版本支持） RDS服务MySQL数据库 本地数据库 连接实例 当“连接类型”参数选择“RDS服务PostgreSQL数据库”或“RDS服务MySQL数据库”时有效。选择MRS集群与RDS服务数据库连接名称，该连接必
配置场景 当MapReduce shuffle服务启动时，它尝试基于localhost绑定IP。如果需要MapReduce shuffle服务连接特定IP，可以参考该章节进行配置。 配置描述 当需要MapReduce shuffle服务绑定特定IP时，需要在NodeManager实
ALTER TABLE 修改表结构时，针对聚合模型和非聚合模型的修改方式不同；针对Key列和Value列的修改方式也不同。其中： 建表时指定AGGREGATE KEY时，为聚合模型；其他场景为非聚合模型。 建表语句中的关键字'unique key'或'aggregate key'或'duplicate
HBase集群容灾高可用 配置HBase主备集群容灾 HBase容灾集群主备倒换 HBase容灾集群业务切换指导 父主题： HBase运维管理
参数入口：参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。 对于大作业扫描特性中Hive组件，需要配置“hive-ext.record.mr.applicationid=true”时才能生效，详细操作步骤如下： 参考修改集群服务配置参数进入Hive服务参数“
CarbonData调优思路 查询性能调优 CarbonData可以通过调整各种参数来提高查询性能。大部分参数聚焦于增加并行性处理和更好地使用系统资源。 Spark Executor数量：Executor是Spark并行性的基础实体。通过增加Executor数量，集群中的并行数量
REGISTER INDEX TABLE 命令功能 REGISTER INDEX TABLE命令用于将索引表注册到主表。 命令语法 REGISTER INDEX TABLE indextable_name ON db_name.maintable_name; 参数描述 表1 REFRESH
CarbonData Segment API语法说明 本章节描述Segment的API以及使用方法，所有方法在org.apache.spark.util.CarbonSegmentUtil类中。 如下方法已废弃： /** * Returns the valid segments
为什么创建Hive表失败？ 问题 为什么创建Hive表失败？ 回答 当源表或子查询具有大数据量的Partition时，创建Hive表失败。执行查询需要很多的task，此时输出的文件数就会很多，从而导致driver OOM。 可以在创建Hive表的语句中增加distribute b
Spark SQL性能调优 Spark SQL join优化 优化数据倾斜场景下的Spark SQL性能 优化小文件场景下的Spark SQL性能 Spark INSERT SELECT语句调优 配置多并发客户端连接JDBCServer 配置SparkSQL的分块个数 Spark动态分区插入场景内存优化
Server实例，详情请参考购买自定义拓扑集群。 如果当前集群支持手动添加服务，也可以在首次添加HBase服务时，选择部署Thrift1Server实例，服务添加成功后，需重启Hue服务，详情请参考添加服务。 访问作业浏览器 访问Hue WebUI，请参考访问Hue WebUI界面。
CarbonData表操作并发语法说明 DDL和DML中的操作，执行前，需要获取对应的锁，各操作需要获取锁的情况见表1 操作获取锁一览表，√表示需要获取该锁，一个操作仅在获取到所有需要获取的锁后，才能继续执行。 任意两个操作是否可以并发执行，可以通过如下方法确定：表1两行代表两个
Spark on OBS性能调优 配置场景 Spark on OBS在小批量频繁请求OBS的场景下，可以通过关闭OBS监控提升性能。 配置描述 在Spark客户端的“core-site.xml”配置文件中修改配置。 表1 参数介绍 参数 描述 默认值 fs.obs.metrics
Hudi Savepoint操作说明 Savepoint用于保存并还原自定义的版本数据。 Hudi提供的savepoint就可以将不同的commit保存起来以便清理程序不会将其删除，后续可以使用Rollback进行恢复。 使用spark-sql管理savepoint。 示例如下：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
