检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
添加HDFS的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为HDFS用户配置HDFS目录或文件的读、写和执行权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 使用Ranger管理员用户rangeradm
用户需要使用图形化界面在集群中执行SparkSql语句时，可以通过Hue完成任务。 配置Spark2x 使用SparkSql编辑器之前需要先修改Spark2x配置。 进入Spark2x的全部配置页面，具体操作请参考修改集群服务配置参数。 设置Spark2x多实例模式，搜索并修改Spark2x服务的以下参数：
MRS集群加固策略说明 配置Hadoop数据传输加密 配置Kafka数据传输加密 配置HDFS数据传输加密 配置Spark数据传输加密 配置ZooKeeper数据传输加密 配置Controller与Agent间数据传输加密 配置受信任IP地址访问LDAP 加密HFile和WAL内容 配置HBase只读模式集群允许修改数据的IP白名单
始入湖时间和数据入湖结束时间来判断数据时延问题。 同时对于PgSQL任务，配置心跳表可以定期向前推进PgSQL中Slot记录的LSN的信息，避免由于某个任务配置了某部分变化很小的表导致数据库日志积压。 配置从Oracle（ogg）抓取数据到Hudi任务的心跳表 在需要同步数据的O
配置MRS集群审计日志本地备份数 集群组件的审计日志按名称分类，保存在集群各节点“/var/log/Bigdata/audit”，OMS每天凌晨3点自动备份这些审计日志目录。 各节点审计日志目录会按<节点IP>.tar.gz的文件名压缩，所有压缩文件再按<yyyy-MM-dd_HH-mm-ss>
提升HBase Put和Scan性能综合调优 操作场景 HBase有很多与读写性能相关的配置参数。读写请求负载不同的情况下，配置参数需要进行相应的调整，本章节旨在指导用户通过修改RegionServer配置参数进行读写性能调优。 本章节适用于MRS 3.x及之后版本。 操作步骤 登录FusionInsight
更换MRS集群证书 更换CA证书 更换HA证书 父主题： MRS集群安全配置
HDFS对接OBS业务应用开发样例说明 MRS集群客户端如何通过AK/SK信息对接OBS 安装在集群外的MRS客户端如何访问OBS 访问MRS集群Manager（2.x及之前版本） MRS集群Core节点扩容成功后状态异常如何处理 父主题： 配置MRS集群存算分离
配置ClickHouse系统表的生命周期 操作场景 ClickHouse没有默认配置系统表的TTL，长期使用可能会占用大量磁盘空间。 本章节指导用户配置系统表的生命周期，仅保留近30天的数据，减少系统表的磁盘使用。 本章节仅适用于MRS 3.2.0之前版本。 操作步骤 使用具有C
如果不满足，则进行数据迁移，使目标目录或文件满足设定的存储策略。 本章节适用于MRS 3.x及后续版本。 配置描述 请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 dfs.mover.auto.enable
修改component_env文件 执行如下命令验证配置。 source /opt/Bigdata/client/bigdata_env beeline -e "use default;show tables;" 父主题： 组件配置类
操作场景 Ranger管理员可以通过Ranger为OBS用户配置OBS目录或文件的读、写权限。 本章节仅适用于MRS 3.3.0-LTS及之后版本。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户组。 已安装Guardian服务。 操作步骤 使用Ranger管
配置Structured Streaming使用RocksDB做状态存储 本章节仅适用于MRS 3.3.0及之后版本。 配置场景 当大量的状态信息存储在默认的HDFS BackedStateStore，导致JVM GC占用大量时间时，可以通过如下配置，选择RocksDB作为状态后端。
ALM-12064 主机随机端口范围配置与集群使用端口冲突 告警解释 系统每一个小时检查一次主机随机端口配置范围是否与集群使用端口范围冲突，如果有冲突，则发送此告警。待客户重新修改该主机的随机端口范围配置到正常范围，该告警会自动清除。 告警属性 告警ID 告警级别 是否自动清除 12064
集群默认是200，作业可以单独设置。如果发现瓶颈stage（执行时间长），且分配给当前作业的核数大于当前的并发数，说明并发度不足。通过以下配置优化。 场景 配置项 集群默认值 调整后 Jar作业 spark.default.parallelism 200 按实际作业可用资源2倍设置 SQL作业
conf”文件。 准备运行环境配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件以及用于安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。
归档的日志文件总大小/归档文件大小。 配置描述 进入Mapreduce服务参数“全部配置”界面，具体操作请参考修改集群服务配置参数章节。 在搜索框中输入参数名称，修改并保存配置。然后在Mapreduce服务“概览”页面选择“更多 > 同步配置”。同步完成后重启Mapreduce服务。
归档的日志文件总大小/归档文件大小。 配置描述 进入Mapreduce服务参数“全部配置”界面，具体操作请参考修改集群服务配置参数章节。 在搜索框中输入参数名称，修改并保存配置。然后在Mapreduce服务“概览”页面选择“更多 > 同步配置”。同步完成后重启Mapreduce服务。
检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面，选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”或“节点故障”等告警。 是，节点间网络不互通，请联系运维人员修复。 否，节点间网络互通，检查结束。 检查弹性伸缩是否关闭
检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面，选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”或“节点故障”等告警。 是，节点间网络不互通，请联系运维人员修复。 否，节点间网络互通，检查结束。 检查弹性伸缩是否关闭
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
