检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SparkStructuredStreamingJavaExample Structured Streaming程序 Java SparkStructuredStreamingScalaExample Structured Streaming程序 Scala SparkStructuredSt
SparkStructuredStreamingJavaExample Structured Streaming程序 Java SparkStructuredStreamingScalaExample Structured Streaming程序 Scala SparkStructuredSt
WebUI页面全量日志报“HTTP ERROR 500 org.apache.http.ConnectionCloseException: Premature end of chunk coded message body:closing chunk expected”。 原因分析 该报错是由于作业运行时间过长,查看Yarn
是否自动清除 12011 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 备Manager的配置文件没有更新。当发生主备倒换时,同步异常的配置文件可能会丢
配置源数据心跳表实现数据判齐功能 操作场景 心跳和数据判齐功能用于统计CDL同步任务的全链路信息, 包括从数据库管理系统RDBMS到Kafka的数据耗时、从Kafka消费数据写入到Hudi的数据耗时和数据条数等一系列信息,并将其写入到特定的Topic(cdl_snapshot_t
rtifacts信息。 在IDEA主页面,选择“File > Project Structures...”进入“Project Structure”页面。 在“Project Structure”页面,选择“Artifacts”,单击“+”并选择“JAR > Empty”。 图1
data”,该参数用于确定HDFS文件系统的元数据信息的保存路径。 HDFS需要开启NameNode镜像备份 NameNode的镜像备份参数为“fs.namenode.image.backup.enable”,需要设置该值为“true”,系统即可定期备份NameNode的数据。
equals("female")) { return true; } else { return false; } }
ALM-12054 证书文件失效(2.x及以前版本) 告警解释 系统在每天二十三点检查当前系统中的证书文件是否失效(即当前集群中的证书文件是否过期,或者尚未生效)。如果证书文件失效,产生该告警。 当重新导入一个正常证书,并且状态不为失效状态,该告警恢复。 告警属性 告警ID 告警级别
ALM-27003 DBService主备节点间心跳中断 告警解释 DBService主节点或备节点超过7秒未收到对端的心跳消息后,系统产生告警。 当心跳恢复后,该告警恢复。 告警属性 告警ID 告警级别 是否自动清除 27003 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。
ALM-12055 证书文件即将过期(2.x及以前版本) 告警解释 系统每天二十三点检查一次当前系统中的证书文件,如果当前时间距离过期时间不足告警阈值天数,则证书文件即将过期,产生该告警。 当重新导入一个正常证书,并且状态不为即将过期,该告警恢复。 告警属性 告警ID 告警级别 可自动清除
} return Optional.of(out); } }); //打印结果 wordCounts.print(); return ssc; } } Streaming Write
} return Optional.of(out); } }); //打印结果 wordCounts.print(); return ssc; } } Streaming Write
在下拉框中选择“Structure for New Projects”。 图2 Configure 在弹出的“Project Structure for New Projects”页面中,选择“SDKs”,单击加号添加JDK。 图3 Project Structure for New Projects
SparkStructuredStreamingJavaExample Structured Streaming程序 Java SparkStructuredStreamingScalaExample Structured Streaming程序 Scala SparkStructuredSt
是否自动清除 12010 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 如果主Manager进程资源异常,主备倒换无法进行,影响运维基本功能使用。 可能原因
使用Keytab文件进行JDBC安全认证 功能简介 使用keytab文件进行JDBC认证。 准备操作 登录FusionInsight Manager,选择“系统 > 权限 > 用户”,下载参考准备MRS应用开发用户准备的开发用户的认证凭据。 代码样例 以下代码片段仅为演示,具体代码参见“com.huawei
据进行联合分析,提供复杂的IT和OT数据统一分析能力。 图2 跨源IT/OT数据统一分析 使用场景如下: 统一SQL入口 为简化应用系统对接多系统的复杂性,可在HetuEgine添加IoTDB作为数据源,通过HetuEngine的SQL语法查询IoTDB中的数据。 与数据湖中的数据进行关联查询
* from s3(path [,access_key_id, secret_access_key] [,format] [,structure]) path:带有文件路径的Bucket URL地址。 format:文件的格式。 access_key_id, secret_acc
ALM-27003 DBService主备节点间心跳中断(2.x及以前版本) 告警解释 DBService主节点或备节点未收到对端的心跳消息后,系统产生告警。 当心跳恢复后,该告警恢复。 告警属性 告警ID 告警级别 可自动清除 27003 严重 是 告警参数 参数名称 参数含义 ServiceName