检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检查客户端节点网络连接。
查看NameNode和DataNode之间的网络情况。
示例代片段参考如下: private void dropTable(String databaseName, String tableName, String clusterName) throws Exception { String dropLocalTableSql
示例代片段参考如下: private void dropTable(String databaseName, String tableName, String clusterName) throws Exception { String dropLocalTableSql
private Text nameInfo = new Text(); // 输出的key,value要求是序列化的。
联系网络管理员恢复网络。 等待一段时间后,在告警列表中,查看告警是否清除。 是,处理完毕。 否, 执行13。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Flume”。
var startTime: Long = 0L @volatile private var endTime: Long = 0L @volatile private var numRecs: Long = 0L override def onQueryStarted
var startTime: Long = 0L @volatile private var endTime: Long = 0L @volatile private var numRecs: Long = 0L override def onQueryStarted
180000 否 taskmanager.network.detailed-metrics 启用网络队列长度的详细指标监控。
DataTypes.createStructType(fields); Dataset<Row> dataFrame = sparkSession.createDataFrame(stringJavaRdd, schema); return dataFrame; } private
DataTypes.createStructType(fields); Dataset<Row> dataFrame = sparkSession.createDataFrame(stringJavaRdd, schema); return dataFrame; } private
DataTypes.createStructType(fields); Dataset<Row> dataFrame = sparkSession.createDataFrame(stringJavaRdd, schema); return dataFrame; } private
private void getAllUserTables(String url) { String endpoint = "/"; Optional<ResultModel> result = sendAction(url + endpoint, MethodType.GET
private void getAllUserTables(String url) { String endpoint = "/"; Optional<ResultModel> result = sendAction(url + endpoint, MethodType.GET
为了保证集群和MySQL或PostgreSQL数据库的网络访问,建议该实例与MRS集群的虚拟私有云和子网一致。 RDS实例的安全组入方向规则需要放通MySQL(默认为“3306”)和PostgreSQL(默认为“5432”)数据库端口。
若使用ping命令查看IP不通,需要协调网络管理相关人员协助排查网络。 若集群开启高可用,尝试将Yarn参数“yarn.client.failover-sleep-base-ms”调小。 父主题: 使用Spark
可自行修改 private static final String JDBC_ORIGIN_TBL = "ORIGINAL"; // 用户创建的目标表表名,可自行修改 private static final String JDBC_INSERT_TBL
private void dropTable(String databaseName, String tableName, String clusterName) throws Exception { String dropLocalTableSql = "drop table
private void dropTable(String databaseName, String tableName, String clusterName) throws Exception { String dropLocalTableSql = "drop table
可能原因 LdapServer进程所在的节点网络故障。 LdapServer进程异常。 OS重启导致的LdapServer数据损坏。 Oldap数据量超过阈值(默认为10MB)。 处理步骤 检查LdapServer所在的节点网络是否故障。