检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录MRS服务控制台。 单击集群名称进入集群详情页面,并选择“节点管理”。 在Core节点组中勾选任意一个Core节点,单击“节点操作 > 停止所有角色”。 登录Core节点后台,参考如何使用自动化工具配置华为云镜像源(x86_64和ARM)?配置yum源。
解决办法 分别登录到集群主备NameNode节点,执行以下命令备份脚本。
以omm用户登录主管理节点。 执行以下目录,执行“cleanQueuesAndRestartRM.sh”脚本。 cd ${BIGDATA_HOME}/om-server/om/sbin .
根据故障信息中的HostName登录到集群节点,在presto客户端根据附加信息中的Reource Group查询排队数。
处理步骤 登录FusionInsight Manager,选择“运维 > 告警 > 阈值设置 > meta > OBS操作被流控总数”,将阈值或平滑次数参数的值根据实际情况调大。 观察界面告警是否清除。 是,处理完毕。 否,执行3。 联系OBS运维人员查看OBS服务是否正常。
以root用户登录客户端所在节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行以下命令,检查“hdfs://hacluster/user/{用户名}/.Trash/Current/ ”目录下是否存在该warehouse目录。
操作步骤 登录MRS Manager,请参考登录MRS Manager。 在MRS Manager界面选择“系统设置 > 角色管理 > 添加角色”。 填写角色的名称,例如sparkrole。
登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,查看该告警的详细信息,在定位信息中查看发生该告警的主机名称。单击主机名称,查看对应的IP地址。 使用root用户登录告警上报主机IP节点。 执行以下命令查看服务核心文件是否存在。
进入客户端安装目录“/opt/client”,执行下列命令初始化环境变量。
答: 以root用户登录集群的各个节点。 检查防火墙服务是否启动。 例如,EulerOS环境下执行systemctl status firewalld.service命令。 关闭防火墙服务。
使用Spark2x(MRS 3.x及之后版本) Spark用户权限管理 Spark客户端使用实践 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强 Spark SQL企业级能力增强 Spark Streaming
登录客户端节点,进入jar文件上传目录下,修改文件权限为700。
登录集群客户端所在节点,执行以下命令,切换到客户端安装目录并认证用户。 cd /opt/hadoopclient source bigdata_env kinit HetuEngine组件操作用户 (普通模式集群跳过) 执行以下命令,登录数据源的catalog。
登录客户端节点,进入jar文件上传目录下,修改文件权限为700。
登录客户端节点,进入jar文件上传目录下,修改文件权限为700。
登录客户端节点,进入jar文件上传目录下,修改文件权限为700。
回退客户端补丁 不涉及。 回退手动的操作 不涉及。 补丁卸载完成后重新打开弹性伸缩 如果卸载补丁前关闭了弹性伸缩,请卸载完成后重新打开。 登录华为云MRS管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”页签。 请开启卸载前关闭的弹性策略。 父主题: 回滚补丁
Spark SQL性能调优 Spark SQL join优化 优化数据倾斜场景下的Spark SQL性能 优化小文件场景下的Spark SQL性能 Spark INSERT SELECT语句调优 配置多并发客户端连接JDBCServer 配置SparkSQL的分块个数 Spark动态分区插入场景内存优化
Ranger常见问题 安装集群过程中Ranger启动失败 如何判断某个服务是否使用了Ranger鉴权 新创建用户修改完密码后无法登录Ranger Ranger界面添加或者修改HBase策略时,无法使用通配符搜索已存在的HBase表 在Ranger管理界面查看不到创建的MRS用户 MRS
MRS 3.x之前版本集群: 分别登录集群所有Master节点,在所有Master节点中执行如下2-4步骤的修改。