检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ID)是ZooKeeper为了实现分布式一致性而引入的一种事务编号,是一个长64位的数字。高32位用来表示当前Leader的周期,低32位用来表示当前请求产生的事务在当前Leader周期内的位置。每产生一个新的事务,zxid的低32位就会自动加1。当zxid达到最大值,即zxid的低32位达到0xfffff
foreachPartition接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,将要插入的数据的rowKey构造成rdd,然后通过HBaseContext的mapPartition接口将rdd并发写入HBase表中。 数据规划 在客户端执行:hbase
JDK,请确保IntelliJ IDEA中的JDK配置为Open JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 华为提供开源镜像站,各服务样例工程依赖的Jar包通过华为开源镜
Manager主备倒换的原因。 告警属性 告警ID 告警级别 是否自动清除 12103 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 Manager主备倒换。
是否自动清除 45430 重要 否 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 已创建的用户在本节点无操作权限。 可能原因 扩容过程中已有节点停止或故障。 处理步骤 在FusionInsight
Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的Flink。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
场景说明 场景说明 假定用户有某个周末网民网购停留时间的日志文本,基于某些业务要求,要求开发Spark应用程序实现如下功能: 实时统计连续网购时间超过半个小时的女性网民信息。 周末两天的日志文件第一列为姓名,第二列为性别,第三列为本次停留时间,单位为分钟,分隔符为“,”。 log1
数据处理规则 当配置HBase表名不存在时,作业提交失败。 当配置的列名与HBase表列名不匹配时,读取不到数据,导入数据条数会为0。 配置输入字段列数,大于原始数据实际包含字段列数,全部数据成为脏数据。 当字段的值与实际的类型不匹配时,该行数据会成为脏数据。 样例 以HBase导出到sqlserver2014数据库为例。
原因分析 HDFS在写的时候有设置块大小,默认128M,某些组件或者业务程序写入的文件可能不是128M,如8M。 <name>dfs.blocksize</name> <value>134217728</value> 图1 某些组件或者业务程序写入的文件大小 distcp 从
参数含义 定位信息 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 Impalad不能执行sql或执行sql超时,会影响到数据的读写。 可能原因 该Impalad服务维护的查询数量过多。 处理步骤 登录FusionInsight
r”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
是否自动清除 12110 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名称。 对系统的影响 集群获取不到最新的临时AK/SK,存算分离场景下,可能导致访问OBS失败,引起组件业务无法正常处理。
JDK,请确保IntelliJ IDEA中的JDK配置为Open JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 华为提供开源镜像站,各服务样例工程依赖的Jar包通过华为开源镜
JDK,请确保IntelliJ IDEA中的JDK配置为Open JDK。 安装Junit插件 开发环境的基本配置。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 华为提供开源镜像站,各服务样例工程依赖的Jar包通过华为开源镜像站下载,剩余所依赖的开源Jar包请直接从Ma
JDK,请确保IntelliJ IDEA中的JDK配置为Open JDK。 安装JDK 开发和运行环境的基本配置。版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1.8.0_272,不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。 X86客户端: Oracle
是否自动清除 12035 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 任务名 任务名称。 对系统的影响 执行恢复任务失败后,系统会自动回滚,如果回滚失败,可能会导致数据丢
ClickHouse扩容时创建分布式表对应的本地表失败时产生该告警。 告警属性 告警ID 告警级别 是否自动清除 45429 重要 否 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 查询分布式表失败。
JDK,请确保IntelliJ IDEA中的JDK配置为Open JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境基本配置。用于项目管理,贯穿软件开发生命周期。 安装JDK 开发和运行环境的基本配置,版本要求如下: 服
严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 异常NTP服务器的IP地址。 对系统的影响 主OMS节点配置的NTP服务器异常,可能会导致主OMS节点与外部服务器不能同步时间,集群时间可能会产生误差。
数据处理规则 当配置HBase表名不存在时,作业提交失败。 当配置的列名与HBase表列名不匹配时,读取不到数据,导入数据条数会为0。 配置输入字段列数,大于原始数据实际包含字段列数,全部数据成为脏数据。 当字段的值与实际的类型不匹配时,该行数据会成为脏数据。 样例 以HBase导出到sqlserver2014数据库为例。