检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
data loss. 原因分析 用户将Core节点的NodeManager服务停止了，导致在检查Task节点退服过程中发现Task如果全部退订，则将没有NodeManager，则Yarn服务就不可用，而MRS判断剩余的NodeManager必须大于等于1才能退服Task节点。 处理步骤 进入Yarn服务实例页面：
准备MapReduce应用开发用户 开发用户用于运行样例工程。用户需要有组件权限，才能运行样例工程。 前提条件 MRS服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager，在MRS Manager界面选择“系统设置 >
提示：配置系统对SQL请求满足防御规则后，是否进行日志记录和提示处理。开启按钮时，如果当前规则有变量参数，需同时配置阈值。 拦截：配置系统对SQL请求满足防御规则后，是否进行拦截处理。开启按钮时，如果当前规则有变量参数，需同时配置阈值。 熔断：配置系统对SQL请求满足防御规则后，是否进行熔断处理。开启按钮时，如果当前规则有变量参数，需同时配置阈值。
准备Impala应用开发用户 开发用户用于运行样例工程。用户需要有Impala权限，才能运行Impala样例工程。 前提条件 MRS服务集群开启了Kerberos认证时请执行该步骤，没有开启Kerberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager。 单击“系统设置 > 用户管理 > 添加用户”，为样例工程创建一个用户。
开启Kafka高可靠功能 操作场景 如果需执行表1中的CDL数据同步任务时，需开启Kafka高可靠性功能，防止当Kafka发生故障或者Kafka重启时传输的数据丢失。 表1 使用MRS Kafka同步数据的CDL任务 数据源 目的端 描述 MySQL Hudi 该任务支持从MySQL同步数据到Hudi。
为“true”时，就开启了container日志聚合功能。日志聚合功能是指：当应用在Yarn上执行完成后，NodeManager将本节点中所有container的日志聚合到HDFS中，并删除本地日志。详情请参见配置Container日志聚合功能。 然而，开启container日志
core_node_default_group skip_bootstrap_scripts 否 String 参数解释： 是否跳过引导操作。仅在创建集群时配置了引导操作且扩容时有意义，表示扩容时是否在新增节点上执行创建集群时指定的引导操作。 约束限制： 不涉及 取值范围： true：跳过引导操作。 false：执行引导操作。
“网络读包丢包率超过阈值”的告警ID是12045。 检查网卡是否配置了主备bond模式。 使用PuTTY工具，以omm用户登录告警所在节点，执行ls -l /proc/net/bonding命令，查看该节点是否存在“/proc/net/bonding”目录。 是， 如下所示，则该节点配置了bond模式，执行12。 #
"credits" or "license" for more information. 客户端机器必须安装有setuptools。 通过官方网站下载软件，下载地址：https://pypi.org/project/setuptools/#files。 将下载的setuptools压
为“true”时，就开启了container日志聚合功能。日志聚合功能是指：当应用在Yarn上执行完成后，NodeManager将本节点中所有container的日志聚合到HDFS中，并删除本地日志。详情请参见配置Container日志聚合功能。 然而，开启container日志
准备Presto应用开发用户 开发用户用于运行样例工程。用户需要有Presto权限，才能运行Presto样例工程。若MRS集群开启了Kerberos认证需要执行该步骤，没有开启Kerberos认证的集群请忽略该步骤。 操作步骤 登录MRS Manager页面。 单击“系统设置 > 用户管理 >
Null)和Histogram（支持等宽直方图）。 CBO调优 自动优化：用户根据自己的业务场景，输入SQL语句查询，程序会自动去判断输入的SQL语句是否符合优化的场景，从而自动选择Join优化算法。 手动优化：用户可以通过DESC FORMATTED src命令查看统计信息，根据统计信息的分布，人工优化SQL语句。
配置”，单击“全部配置”，搜索以下参数。 参数 说明 默认值 spark.sql.adaptive.enabled 配置是否启用自适应执行功能。 注意：AQE特性与DPP（动态分区裁剪）特性同时开启时，SparkSQL任务执行中会优先执行DPP特性，从而使得AQE特性不生效。 false spark
配置”，单击“全部配置”，搜索以下参数。 参数 说明 默认值 spark.sql.adaptive.enabled 配置是否启用自适应执行功能。 注意：AQE特性与DPP（动态分区裁剪）特性同时开启时，SparkSQL任务执行中会优先执行DPP特性，从而使得AQE特性不生效。 false spark
"credits" or "license" for more information. 客户端机器必须安装有setuptools。 通过官方网站下载软件，下载地址：https://pypi.org/project/setuptools/#files。 将下载的setuptools压
各实例之间默认未开启SSL通道加密传输，本章节指导用户开启ZooKeeper通道加密传输。 该功能仅适用于MRS 3.1.2及之后版本集群。 对系统的影响 ZooKeeper服务端开启SSL通道加密传输后，将导致一定程度的性能下降。 ZooKeeper服务端开启SSL通道加密传输
0及之后版本： 系统每五分钟执行一次告警检查，首先检查是否启用并正确配置了rng-tools或者haveged工具，如果没有配置，则发送故障告警。否则继续检查熵值，如果连续五次检测结果均小于100，则上报故障告警。 当检测到节点已经安装并启用了rng-tools或者haveged工具，且
Yarn资源不足情况下，不建议开启多租户模式。 配置描述 登录Manager，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索并修改以下参数。 表1 参数说明 参数 说明 默认值 spark.proxyserver.hash.enabled 是否使用Hash算法连接ProxyServer。
参数说明（1） 参数 描述 默认值 spark.sql.authorization.enabled 是否开启datasource语句的权限认证功能。建议将此参数修改为true，开启权限认证功能。 true “hive-site.xml”配置文件 表2 参数说明（2） 参数 描述 默认值
配置Spark应用安全认证 前提条件 MRS服务集群开启了Kerberos认证。 场景说明 在集群开启Kerberos认证的环境下，各个组件之间的相互通信不能够简单地互通，而需要在通信之前进行相互认证，以确保通信的安全性。 用户在开发Spark应用程序时，某些场景下，需要Spar
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
