检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安装补丁前准备 安装补丁前需要手动进行以下相关检查。 检查集群是否安装过相关紧急补丁 使用root用户登录集群主节点，并进入“/home/omm”目录。 查看是否存在“MRS_3.1.0_HBase_patch_20220929”、“MRS_3.1.0_OBSA_Patch_20230428”、“MRS_3
r集群互信。 操作步骤 登录Kafka服务所在Manager页面，选择“系统 > 权限 > 用户 > 添加用户”，创建一个具有Kafka权限的人机用户，例如创建人机用户ck_user1，首次使用需要修改初始密码。Kafka用户权限介绍请参考Kafka用户权限说明。 选择“集群 >
模得到的，不同的hashcode取模后的结果有可能是一样的，那样数据就会被分到相同的partition里面，因此出现有些partition没有数据而有些partition里面有多个key对应的数据。 通过调整“spark.sql.shuffle.partitions”参数值可以调
使用的堆内存大小”的两倍（可根据实际业务场景进行修改）。 重启受影响的服务或实例，观察界面告警是否清除。 是，处理完毕。 否，执行6。 重启服务期间服务不可用，业务中断。重启实例期间实例不可用，当前实例节点任务会执行失败。 收集故障信息。 在FusionInsight Manager界面，选择“运维
集群中的NodeManager实例数量达到200，ResourceManager实例的JVM参数建议配置为：-Xms6G -Xmx6G -XX:NewSize=512M -XX:MaxNewSize=1G 集群中的NodeManager实例数量达到500，ResourceManager实例的JVM参数建议配置为：-Xms10G
skManager承担了很大的责任。 因而JobManager和TaskManager的参数配置对Flink应用的执行有着很大的影响意义。用户可通过如下操作对Flink集群性能做优化。 操作步骤 配置JobManager内存。 JobManager负责任务的调度，以及TaskMa
1/bin”目录，将刚打出的source.jar提交（如果在Windows上进行的打包，则需要将Windows上的source.jar上传到Linux服务器，假定上传到“/opt/jartarget”目录），执行命令：storm jar /opt/jartarget/source.jar com
truststore-password、security.ssl.trustore。 YARN内部认证方式 该方式是YARN内部的认证方式，不需要用户配置。 - 当前一个Flink集群只支持一个用户，一个用户可以创建多个Flink集群。 加密传输 Flink整个系统存在三种加密传输方式： 使用Yarn内部的加密传输方式：Flink
Coordinator和Worker实例间网络通信中断。 处理步骤 检查Coordinator/Worker进程状态。 在FusionInsight Manager首页，单击“集群 > 服务 > Presto > 实例”，在Presto实例列表中，查看所有Coordinator或Worker实例状态是否都呈现未知状态。
管理Storm拓扑 操作场景 用户可以使用Storm的WebUI管理拓扑。“storm”用户组的用户只能管理由自己提交的拓扑任务，“stormadmin”用户组的用户可以管理所有拓扑任务。 操作步骤 访问Storm的WebUI，请参考访问Storm的WebUI。 在“Topology
提交Spark任务时连接ResourceManager异常 问题背景与现象 连接ResourceManager异常，导致Spark任务提交失败。 原因分析 在Driver端打印异常如下，打印连接两个ResourceManager主备节点的26004端口均被拒绝： 15/08/19
重启角色实例。 重启主ResourceManager实例，会发生ResourceManager实例主备倒换，倒换过程中，Yarn无法提交新作业，已提交的作业不受影响。Yarn组件以及依赖Yarn的组件会出现短暂的服务不可用告警。 重启备ResourceManager实例，服务业务不受影响。
停止删除MRS集群作业 用户可以在管理控制台手动停止正在运行的MRS作业。 在作业执行完成后，若不需要再查看使用作业相关信息，可以选择删除作业。 停止MRS集群作业 Spark SQL作业不支持停止。作业停止后状态更新为“已终止”，并且该作业不可重新执行。 登录MRS管理控制台。 选
WebUI提供可视化的作业编排页面，用户可快速创建CDL作业，实现实时数据入湖。 前提条件 开启Kerberos认证的集群需已创建具有CDL管理操作权限的用户。 操作步骤 使用具有CDL管理操作权限的用户或admin用户（未开启Kerberos认证的集群）登录CDLService Web
安全集群需要认证对HDFS有权限的用户，普通集群无需执行： kinit {用户} 执行以下命令升级HDFS上的zip包： sh update_hdfs_file.sh 升级完成后需要在FusionInsight Manager界面上重启Spark的JDBCServer2x实例。 升级组件安装包
检查弹性伸缩是否关闭 登录华为云管理控制台界面，选择对应集群，单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。 是，弹性伸缩关闭，检查结束。 检查Manager是否有正在运行的任务 登录FusionInsight
domain.socket.path”)，该目录默认权限是750。而当前Linux用户没有权限操作该目录。 上述问题可通过执行以下方法解决： 方法一：创建新用户(推荐使用)。 通过Manager页面创建新的用户，该用户属组中默认包含ficommon组。 [root@xxx-xxx-xxx-xxx
单击“确定”。 添加用户并将ClickHouse对应角色绑定到该用户 登录Manager，选择“系统 > 权限 > 用户”，单击“添加用户”，进入添加用户页面。 “用户类型”选择“人机”，在“密码”和“确认密码”参数设置该用户对应的密码。 用户名：添加的用户名不能包含字符“-”，否则会导致认证失败。
对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 问题 对接OBS ECS/BMS集群，spark-beeline登录后，指定location到OBS建表报错失败。 图1 错误信息 回答 HDFS上ssl.jceks文件权限不足，导致建表失败。 解决方法 使用omm用户登录Spark2x所在节点，执行如下命令：
使用Keytab文件进行JDBC安全认证 功能简介 使用keytab文件进行JDBC认证。 准备操作 登录FusionInsight Manager，选择“系统 > 权限 > 用户”，下载参考准备MRS应用开发用户准备的开发用户的认证凭据。 代码样例 以下代码片段仅为演示，具体代码参见“com.huawei
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
