检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录MRS集群详情页面,选择“告警管理”。 选中“告警ID”为“43010”的告警,查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Spark > 实例 > JDBCServer(对应上报告警实例IP地址) > 定制 >JDBCServer进程的堆内存统计”。
并准备一个Kafka管理员用户(属于kafkaadmin组)。
Topic名称> shkafka-topics.sh --delete --bootstrap-server <Kafka集群IP:21007>--command-config config/client.properties --topic <Topic名称> 创建Topic,由管理员用户操作
Topic名称> shkafka-topics.sh --delete --bootstrap-server <Kafka集群IP:21007>--command-config config/client.properties --topic <Topic名称> 创建Topic,由管理员用户操作
进入“作业管理”页面,单击对应作业所在行“操作”列的“查看详情”,获取“作业实际编号”。 图3 作业实际编号 登录Manager页面,选择“服务管理 > Yarn > ResourceManager WebUI > ResourceManager (主)”进入Yarn界面。
而Simple认证,在客户端连接服务端的过程中,默认以客户端执行用户(例如操作系统用户“root”等)自动完成认证,管理员或业务用户不显示感知认证。
也可登录MRS控制台,选择“组件管理 > HDFS > 实例”。 查看HDFS服务实例状态,找到一直处于退服中的DataNode,复制这个DataNode的IP地址。
以root用户登录主管理节点,用户密码为安装前用户自定义,请咨询系统管理员。管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。 查看不健康服务的日志信息。
登录MRS管理控制台。 选择“现有集群”,单击集群名称进入集群详情页面。 选择“组件管理 > Ranger > 服务配置”,修改RangerAdmin配置。
单击“集群管理页面”后面的“前往 Manager”,弹出“访问MRS Manager页面”。 单击“管理安全组规则”,检查安全组规则配置。 检查入口方向Any协议的源地址是否为0.0.0.0/0。 如果是,修改入口方向Any协议的远端为指定IP地址。如果不是,则无需修改。
各个角色对应的权限如下: 集群运维管理员:拥有在YARN集群上执行管理操作(如访问ResourceManager WebUI、刷新队列、设置NodeLabel、主备倒换等)的权限。 队列管理员:拥有在YARN集群上所管理队列的修改和查看权限。
(可选)选择“ENV管理 > 新建ENV”,进入“新建ENV”参数配置窗口,参考下表进行参数配置。
表1 V2接口 接口 功能 API URI 集群管理接口 创建集群 POST /v2/{project_id}/clusters 修改集群名称 PUT /v2/{project_id}/clusters/{cluster_id}/cluster-name 创建集群并提交作业 POST
推荐的历史数据同步方式: -- create MV с where date >= in_the_future CREATE MATERIALIZED VIEW mv1 ON CLUSTER default_cluster TO dest AS SELECT a, d, count
at io.netty.util.concurrent.AbstractFuture.get(AbstractFuture.java:37) at org.apache.proxy.service.client.SparkClientImpl.
检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面,选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”或“节点故障”等告警。 是,节点间网络不互通,请联系运维人员修复。
若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
登录MRS集群详情页面,选择“告警管理”。 选中“告警ID”为“43013”的告警,查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Spark > 实例 > JDBCServer(对应上报告警实例IP地址) > 定制 >JDBCServer的GC时间”。
操作步骤 进入组件管理页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理”。 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
补丁管理 MRS集群支持补丁操作,会及时发布开源大数据组件的补丁。用户能够在MRS集群管理页面上查看到运行集群相关的补丁发布信息,包括其修复问题的详细说明及影响场景,用户可以根据业务运行情况自行选择是否安装补丁。