检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
场景二：单独使用资源计划 场景三：弹性伸缩规则与资源计划叠加使用 场景一：单独配置弹性伸缩规则 单独配置弹性伸缩规则场景：需要根据Yarn资源使用情况动态调整节点数，在Yarn可用内存低于20%时扩容5个节点，可用内存高于70%时缩容5个节点。Task节点组最高不超过10个节点，最低不少于1个节点。
如何修改现有集群的HDFS fs.defaultFS？ 问： 如何修改现有集群的HDFS NameSpace（fs.defaultFS）？ 答： 当前不建议在服务端修改或者新增集群内HDFS NameSpace（fs.defaultFS），如果只是为了客户端更好的识别，则一般可以通过修改客户端内“core-site
k/flink/conf/flink-conf.yaml”中的参数“restart-strategy”指定，为全局配置，还可以在应用代码中动态指定，会覆盖全局配置，重启策略包括失败率（failure-rate）和两种默认策略，默认策略为如下： 无重启（No restart）：如果
要调整HeapSize的大小和NewSize的大小。调整HeapSize大小的时候，建议将Xms和Xmx设置成相同的值，这样可以避免JVM动态调整HeapSize大小的时候影响性能。调整NewSize大小的时候，建议把其设置为HeapSize大小的1/8。 HMaster：当HB
要调整HeapSize的大小和NewSize的大小。调整HeapSize大小的时候，建议将Xms和Xmx设置成相同的值，这样可以避免JVM动态调整HeapSize大小的时候影响性能。调整NewSize大小的时候，建议把其设置为HeapSize大小的1/8。 HMaster：当HB
配置Region Transition恢复线程 操作场景 在故障环境中，由于诸如region服务器响应慢，网络不稳定，ZooKeeper节点版本不匹配等各种原因，有可能导致region长时间处于transition下。在region transition下，由于一些region不
配置Region Transition恢复线程 操作场景 在故障环境中，由于诸如Region服务器响应慢，网络不稳定，ZooKeeper节点版本不匹配等各种原因，有可能导致Region长时间处于Transition下。当Region处于Transition下，由于一些Region
SparkSQL建表参数规范 规则 建表必须指定primaryKey和preCombineField。 Hudi表提供了数据更新的能力和幂等写入的能力，该能力要求数据记录必须设置主键用来识别重复数据和更新操作。不指定主键会导致表丢失数据更新能力，不指定preCombineField会导致主键重复。
JDBCServer连接失败 问题现象 提示ha-cluster不识别（unknowHost或者必须加上端口）。 提示连接JDBCServer失败。 原因分析 问题1：使用spark-beeline命令连接JDBCServer，因为MRS_3.0以前的JDBCServer是HA模式，因此需要使用特定的URL和MRS
执行select语句时报错“Execution Error return code 2” 问题现象 执行语句select count(*) from XXX;时客户端报错： Error:Error while processing statement :FAILED:Execution
使用如下命令覆盖安装： cd curl-x.x.x ./configure make make install 使用如下命令更新curl的动态链接库： ldconfig 安装成功后，重新登录节点环境，使用如下命令查看curl版本是否更新成功： curl --version 获取JobHistory中所有应用信息：
集群运维 告警管理 MRS可以实时监控大数据集群，通过告警和事件可以识别系统健康状态。同时MRS也支持用户自定义配置监控与告警阈值用于关注各指标的健康情况，当监控数据达到告警阈值，系统将会触发一条告警信息。 MRS还可以与华为云消息通知服务(SMN)的消息服务系统对接，将告警信息
使用辅助Zookeeper或者副本数据同步表数据时，日志报错 问题 使用辅助Zookeeper或者副本数据同步表数据时，日志报错: DB::Exception: Cannot parse input: expected 'quorum:' before: 'merge_type:
解决CBG访问OBS概率性无权限问题 解决长时间使用客户端出现死锁问题 解决Yarn运行偶现RM主备切换问题 解决Spark SQL外表动态分区执行insert overwrite报错问题 解决周期清理任务清理.hive-staging时，查询数据库失败问题 解决NameNod
使用活动缓存提升HDFS客户端连接性能 操作场景 HDFS部署在具有多个NameNode实例的HA（High Availability）模式中，HDFS客户端需要依次连接到每个NameNode，以确定当前活动的NameNode是什么，并将其用于客户端操作。 一旦识别出来，当前活动
查看MRS集群节点运行状态 MRS集群运行过程中，用户可以在管理控制台或者集群Manager界面中实时查看集群内各节点运行状态，及时识别资源异常问题。 前提条件 如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。
使用活动缓存提升HDFS客户端连接性能 操作场景 HDFS部署在具有多个NameNode实例的HA（High Availability）模式中，HDFS客户端需要依次连接到每个NameNode，以确定当前活动的NameNode是什么，并将其用于客户端操作。 一旦识别出来，当前活动
正则表达式函数 概述 所有的正则表达式函数都使用Java样式的语法。但以下情况除外： 使用多行模式（通过（？m）标志启用）时，只有\ n被识别为行终止符。 此外，不支持（？d）标志，因此不能使用。 大小写区分模式（通过（？i）标志启用）时，总是以unicode的模式去实现。同时，
使用辅助Zookeeper或者副本数据同步表数据时，日志报错 问题 使用辅助Zookeeper或者副本数据同步表数据时，日志报错: DB::Exception: Cannot parse input: expected 'quorum:' before: 'merge_type:
-defaults.conf”配置文件中进行设置。 snappy spark.dynamicAllocation.enabled 是否使用动态资源调度，用于根据规模调整注册于该应用的executor的数量。目前仅在YARN模式下有效。 JDBCServer默认值为true，client默认值为false。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
