检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
但由于缺少WAL机制,会出现异常恢复时,数据丢失。 因此,在调优Streaming的时候,这些保证数据可靠性的配置项,在生产环境中是不能关闭的。 父主题: Spark应用调优
停止作业:“stop”命令仅适用于Flink源(source)实现了StoppableFunction接口的作业。“stop”命令会等待所有资源都正确关闭。相比“cancel”命令,“stop”停止作业的方式更为优雅,但可能导致停止作业失败。 flink脚本的其他参数可以通过以下命令获取: bin/flink
} } if (connection != null) { try { // 关闭Hbase连接. connection.close(); } catch (IOException e)
计算资源(Yarn)不健康。 存储资源(HDFS)不健康。 存储资源(HDFS)部分不健康。 除Yarn与HDFS以外,关键角色不健康。 处理步骤 关闭容灾演练。 在FusionInsight Manager页面,选择“集群 > 待操作集群的名称 > 跨AZ高可用”,打开跨AZ高可用页面。
clickhouse client --host 上报告警的ClickHouseServer实例IP --port 9440 --secure 普通模式(关闭Kerberos): clickhouse client --host 上报告警的ClickHouseServer实例IP --user 用户名
停止作业:“stop”命令仅适用于Flink源(source)实现了StoppableFunction接口的作业。“stop”命令会等待所有资源都正确关闭。相比“cancel”命令,“stop”停止作业的方式更为优雅,但可能导致停止作业失败。 flink脚本的其他参数可以通过以下命令获取: bin/flink
apache.hive.jdbc.HiveDriver").newInstance(); 获取JDBC连接,执行HQL,输出查询的列名和结果到控制台,关闭JDBC连接。 在网络拥塞的情况下,您还可以设置客户端与JDBCServer连接的超时时间,可以避免客户端由于无限等待服务端的返回而挂起。使用方式如下:
} } if (connection != null) { try { //关闭Hbase连接. connection.close() } catch { case
停止作业:“stop”命令仅适用于Flink源(source)实现了StoppableFunction接口的作业。“stop”命令会等待所有资源都正确关闭。相比“cancel”命令,“stop”停止作业的方式更为优雅,但可能导致停止作业失败。 flink脚本的其他参数可以通过以下命令获取: bin/flink
} } if (connection != null) { try { //关闭Hbase连接. connection.close() } catch { case
停止作业:“stop”命令仅适用于Flink源(source)实现了StoppableFunction接口的作业。“stop”命令会等待所有资源都正确关闭。相比“cancel”命令,“stop”停止作业的方式更为优雅,但可能导致停止作业失败。 flink脚本的其他参数可以通过以下命令获取: bin/flink
maxFailures task retry次数。 4 spark.yarn.max.executor.failures Executor失败次数。 关闭Executor个数动态分配功能的场景即“spark.dynamicAllocation.enabled”参数设为“false”时。 numExecutors
行"top"查看进程使用内存情况,找到占用较高的内存的进程,检查是否是本服务应存在的进程,是否合理。 是,执行6。 否,对此进程进行隔离、关闭或调整内存大小处理,观察机器内存是否被释放出。 使用omm用户登录产生告警所在的BE节点,执行"free -g"查看系统使用中总的内存和剩余内存,查看剩余内存大小,预估使用率。
apache.hive.jdbc.HiveDriver").newInstance(); 获取JDBC连接,执行HQL,输出查询的列名和结果到控制台,关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。
} } if (connection != null) { try { //关闭Hbase连接. connection.close() } catch { case
apache.hive.jdbc.HiveDriver").newInstance(); 获取JDBC连接,执行HQL,输出查询的列名和结果到控制台,关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。
getClassLoader().getResource("conf").getPath() + File.separator; //In Linux environment //String userdir = System.getProperty("user.dir") +
getClassLoader().getResource("conf").getPath() + File.separator; //In Linux environment //String userdir = System.getProperty("user.dir") +
} } if (connection != null) { try { // 关闭Hbase连接. connection.close(); } catch (IOException e)
使用具有IAM委托操作权限的用户登录管理控制台。 在服务列表中选择“大数据 > MapReduce服务”,进入“服务授权”页面。 单击“变更权限委托”,在右侧单击,关闭委托或权限策略。 如果委托存在其他Region的授权时,委托开关处于状态,不能直接删除委托,只能取消当委托的相关策略。 如果委托仅存在当前