检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
6及以后版本，用户对于getAcl操作需要有读权限。 前提条件 已安装ZooKeeper客户端。例如安装目录为“/opt/client”。 已获取MRS集群管理员用户和密码。 操作步骤 启动ZooKeeper客户端 以root用户登录安装了ZooKeeper客户端的服务器。 进入客户端安装目录。 cd /opt/client
定”，修改告警的屏蔽状态为“显示”。 配置告警屏蔽及告警平滑次数 该操作仅适用MRS 3.5.0及之后版本集群。 MRS支持在后台配置告警屏蔽状态和平滑次数，告警产生次数小于等于平滑次数时不上报告警信息。 使用PuTTY工具，以omm用户登录主OMS节点。 执行以下命令修改alarm_filter_config
丢失。 当启用NodeManager Restart时，NodeManager在本地保存当前节点上运行的container信息，重启NodeManager服务后通过恢复此前保存的状态信息，就不会丢失在此节点上运行的container进度。 配置描述 参考修改集群服务配置参数进入Y
3.3.0及之后版本支持配置该参数） default队列不支持开启跨资源池调度。 AM跨资源池调度 - 表示当前队列内Application Master是否支持跨资源池调度。（仅MRS 3.3.0及之后版本支持配置该参数） default队列不支持开启AM跨资源池调度。 Active状态
配置Hive SQL防御规则 配置Hive SQL防御操作场景 用户可以在Manager界面配置Hive的SQL防御规则，根据业务调整对应SQL防御规则的参数。 配置Hive SQL防御前提条件 已安装包含Hive服务的集群客户端，例如安装目录为“/opt/hadoopclient”。
添加消息订阅规则”，进入添加消息订阅页面。 图1 添加消息订阅规则 配置消息订阅规则相关参数。 表1 消息订阅规则参数说明 参数 示例 参数说明 规则名称 mrs_alarm 用户自定义发送订阅消息的规则名称，只能包含数字、英文字符、中划线和下划线。 提醒通知 开启 选择开启时，将按照该订阅规则为订阅者发送对应订阅消息。
default 没有配置ntp外部服务器时只会有一条om路由信息“om_rt”。 本章节仅适用于MRS 3.x及以后版本。 如果FusionInsight Manager创建的路由信息与企业网络规划配置的路由信息发生冲突时，集群管理员可以使用“autoroute.sh”工具禁用或启用Manager创建的路由信息。
配置SparkSQL支持Hudi Schema演进 Schema演进开启后不能关闭。 本章节仅适用于MRS 3.2.0及之前版本。 使用spark-beeline时，需要登录Manager页面，选择“集群 > 服务 > Spark2x > 配置 > 全部配置”。 在搜索栏中搜索参数“spark
使用sqoop-shell工具导入数据到HDFS 操作场景 本文将以从SFTP服务器导入数据到HDFS的作业为例，介绍如何分别在交互模式和批量模式下使用sqoop-shell工具进行创建和启动Loader作业。 前提条件 已安装并配置Loader客户端，具体操作请参见使用客户端运行Loader作业。
本章节主要介绍如何开启ClickHouse事务。 使用本地表场景进行数据写入性能更优，故推荐本地表的数据增、删、改、查场景的多副本分布式事务支持。 对于使用分布式表进行数据写入场景的分布式事务，需要结合分布式表事务insert_distributed_sync+本地表事务（Merg
MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 若集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。
Metastore方式对接OBS 已参考配置Hive基于MetaStore方式对接OBS完成相关配置操作。 登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine > 更多 > 同步配置”，同步配置完成后，再选择“更多 > 同步配置”，根据提示重启HetuEngine服务。
日志聚合下如何查看Spark已完成应用日志 问题 当YARN开启了日志聚合功能时，如何在页面看到聚合后的container日志？ 回答 当Yarn配置“yarn.log-aggregation-enable”为“true”时，就开启了container日志聚合功能。 日志聚合功能是指：
添加HetuEngine SQL防御规则 登录安装有HetuEngine客户端的节点，执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令，配置环境变量。 source bigdata_env 根据集群认证模式，完成HetuEngine客户端登录。 安全模式：执行
配额说明 配额是用户账号在对应环境配置的可用资源额度，限定配额仅是为了防止资源滥用。 MapReduce服务通常使用的基础资源如下，配额由各个基础服务管理，如需扩大配额，请联系对应服务的技术支持进行扩容： 弹性云服务器 裸金属服务器 虚拟私有云 云硬盘 镜像服务 对象存储服务 弹性公网IP
Hudi自定义配置项样例程序 HoodieDeltaStreamer 自定义排序器 父主题： 开发Spark应用
以Hive客户端安装用户登录安装客户端的节点。 执行以下命令，切换到客户端安装目录，配置环境变量并认证用户。 cd 客户端安装目录 source bigdata_env kinit Hive业务用户（如果集群未开启Kerberos认证，请跳过该操作） 执行以下命令登录Hive客户端。
配置Yarn本地化日志级别 本章节适用于MRS 3.x及后续版本集群。 配置场景 container本地化默认的日志级别是INFO。用户可以通过配置“yarn.nodemanager.container-localizer.java.opts”来改变日志级别。 配置描述 在Manager系统中，选择“集群
MRS集群加固策略说明 配置Hadoop数据传输加密 配置Kafka数据传输加密 配置HDFS数据传输加密 配置Spark数据传输加密 配置ZooKeeper数据传输加密 配置Controller与Agent间数据传输加密 配置受信任IP地址访问LDAP 加密HFile和WAL内容 配置HBase只读模式集群允许修改数据的IP白名单
如果通过Manager界面操作，需要已登录MRS集群Manager界面，详情请参考访问MRS集群Manager。 通过管理控制台导出集群配置 登录MRS管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 选择页面右上角“配置 > 导出集群配置”即可导出集群配置至本地。 本操作适用于MRS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
