检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ib”下,应用程序运行依赖包请参考样例工程运行依赖包参考信息。 在Flink任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例,否则可能会导致任务失败,并可能导致应用部分临时数据无法清空。 示例中的“ssl/”是Flink客户端目录下自定义的子目录,用来存放SSL
} if (connection != null) { try { // 关闭Hbase连接. connection.close(); } catch (IOException e) {
选择“系统 > 权限 > 用户组 > 添加用户组”,设置“组名”,单击“角色”后的“添加”,在弹出的界面选择2创建的角色,单击“确定”将该角色添加到组中,单击“确定”完成用户组的创建。 选择“系统 > 权限 > 用户 > 添加用户”: “用户名”填写待添加的用户名。 “用户类型”设置为“人机”。
如果某个主机节点的运行状态不是良好,用户可以执行主机健康检查,快速确认某些基本功能是否存在异常。在日常运维中,管理员也可以执行主机健康检查,以保证主机上各角色实例的配置参数以及监控没有异常、能够长时间稳定运行。 执行集群节点健康检查(3.x及之后版本) 登录FusionInsight Manager。
检查弹性伸缩是否关闭 登录华为云MRS管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请关闭弹性伸缩,否则请另择时间进行补丁升级。 是,弹性伸缩关闭,检查结束。 检查是否有正在运行的任务 登录FusionInsight
用率超过阈值”所在行的下拉菜单。查看告警上报的实例的IP地址。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > ZooKeeper > 实例 > quorumpeer(对应上报告警实例ip)”。单击图表区域右上角的下拉菜单,选择“定制
配置ZooKeeper数据传输加密 操作场景 默认情况下,ZooKeeper客户端与服务端之间、服务端各实例之间默认未开启SSL通道加密传输,本章节指导用户开启ZooKeeper通道加密传输。 该功能仅适用于MRS 3.1.2及之后版本集群。 对系统的影响 ZooKeeper服务
JobHistory2x堆内存使用率统计 (JobHistory2x)”,可查看“阈值”。 重启所有的JobHistory2x实例。 重启实例期间实例不可用,当前实例节点的任务会执行失败。 等待10分钟,观察界面告警是否清除。 是,处理完毕。 否,执行7。 收集故障信息 在FusionInsight
Coordinator和Worker实例间网络通信中断。 处理步骤 检查Coordinator/Worker进程状态。 在FusionInsight Manager首页,单击“集群 > 服务 > Presto > 实例”,在Presto实例列表中,查看所有Coordinator或Worker实例状态是否都呈现未知状态。
在FusionInsight Manager页面,选择“集群 > 服务 > DBService > 实例”,查看备DBServer实例的业务IP地址。 以root用户登录主DBService节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行ping 备DBService心跳IP地址命令检查备DBService节点是否可达。
否,执行8。 在“实例”区域中,单击“Broker > 实例配置”,进入当前节点“实例配置”页面,将“基础配置”切换为“全部配置”,查看数据目录配置参数“log.dirs”。 单击“组件管理 > Kafka > 实例”,进入“Kafka实例”页面,停止2中对应的Broker实例,并登录该节点
ple 通过JDBC访问Spark SQL的Java/Scala示例程序。 本示例中,用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。 sparknormal-examples/SparkThriftServerScalaExample
为4G,若偶现告警,可以按0.5倍速率调大。若告警次数比较频繁,可以按1倍速率调大。 重启所有的JobHistory2x实例。 重启实例期间实例不可用,当前实例节点的任务会执行失败。 等待10分钟,观察界面告警是否清除。 是,处理完毕。 否,执行6。 收集故障信息 在FusionInsight
原因分析 在出现告警时间点发现虚拟机发生了重启,告警发生的原因是因虚拟机重启导致的。 经OS定位虚拟机发生重启的原因是节点没有可用的内存,系统发生内存溢出触发了oom-killer,当进程处于被调用的状态会使进程处于disk sleep状态,最终导致虚拟机发生重启。 查看占用的内存进程,发现占用内存都是正常的业务进程。
colum_a='value1'; 则估算查询的最终条数为1000000 * 1/50 = 20000条,选择率为2%。 以下以TPC-DS Q3为例来介绍CBO是如何调整Join顺序的。 select dt.d_year, item.i_brand_id brand_id,
获取一个拥有MRS集群管理员权限的用户,例如“admin”。 操作步骤 Spark on HBase授权 用户如果需要使用类似SQL语句的方式来操作HBase表,授予权限后可以使用SparkSQL访问HBase表。以授予用户在SparkSQL中查询HBase表的权限为例,操作步骤如下:
JobHistory2x直接内存使用率统计 (JobHistory2x)”,可查看“阈值”。 重启所有的JobHistory2x实例。 重启实例期间实例不可用,当前实例节点的任务会执行失败。 等待10分钟,观察界面告警是否清除。 是,处理完毕。 否,执行7。 收集故障信息 在FusionInsight
alad实例的健康状态,并将实例健康信息广播到所有实例上。当某一个Impalad实例发生故障,比如节点异常、网络异常等,Statestore将通知其他Impalad实例,后续的查询请求等将不会向该实例分发。 Catalog Catalog实例服务将每个Impalad实例上发生的元
可能原因 ZooKeeper服务异常。 HDFS服务异常。 HBase服务异常。 网络异常。 处理步骤 检查ZooKeeper服务状态。 登录MRS集群详情页面,选择“组件管理”。 在服务列表中,查看ZooKeeper健康状态是否为“良好”。 是,执行2.a。 否,执行1.c。
可以按0.5倍速率调大。若告警次数比较频繁,可以按1倍速率调大。多业务量、高并发的情况可以考虑增加实例。 重启所有的IndexServer2x实例。 重启实例期间实例不可用,当前实例节点的任务会执行失败。 等待10分钟,观察界面告警是否清除。 是,处理完毕。 否,执行6。 收集故障信息