检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-12085 服务审计日志转储失败 告警解释 系统每天凌晨三点启动服务审计日志转储,将服务审计日志备份到OMS节点,如果转储失败,则发送告警。当下一次转储成功,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12085 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。
增量avro格式表,需要创建表之前设置参数spark.sql.forceConvertSchema.enabled=true,会将avro表格式强转指定数据类型,一次性修改schema。 存量avro格式表,查询avro表之前设置参数spark.sql.forceConvertSchema.enable
load("/tmp/default/cow_bugx/") // 指定读取的hudi表路径 .createTempView("mycall") // 注册为spark临时表 spark.sql("select * from mycall where `_hoodie_commit_time`>'20210308211131'")//
上个周期运行失败的Yarn任务数超过阈值(2.x及以前版本) 告警解释 上个10min的周期内,运行失败的YARN任务数超过阈值。该告警每10min检测一次,如果上个10min周期内,发生YARN任务运行失败的数量大于设定的阈值时候,会发生该告警。如果在下个10min周期,运行失败的Yarn任务数低于阈值时该告警会自动消除。
已安装集群客户端,例如安装目录为“/opt/client”。 各组件业务用户由MRS集群管理员根据业务需要创建。“机机”用户需要下载keytab文件,“人机”用户第一次登录时需修改密码。(普通模式不涉及) 在修改集群域名后,需要重新下载客户端,以保证客户端配置文件中kerberos.domain.name配置为正确的服务端域名。
ALM-12041 关键文件权限异常 告警解释 系统每隔5分钟检查一次系统中关键目录或者文件权限、用户、用户组是否正常,如果不正常,则上报故障告警。 当检查到权限等均正常,则告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12041 重要 是 告警参数 参数名称 参数含义
ALM-12101 AZ不健康 告警解释 AZ容灾开启后,系统每隔5分钟检查一次当前系统上AZ的健康状态,当检测到AZ健康状态为亚健康或者不健康时产生告警。AZ健康状态恢复健康时,告警清除。 告警属性 告警ID 告警级别 是否自动清除 12101 紧急 是 告警参数 告警参数 参数含义
x及以后版本但不支持HTTPS的Elasticsearch集群。 数据规划 如果使用自定义数据源,需保证源端集群和目标端之间网络端口通信正常。 如果使用Kafka,MySQL等外源数据,需要确保对应用户具备数据操作的权限。 开发思路 导入Flink相关依赖包,版本需与集群Flink版本一致。 构建源端数据源。
一行记录,然后写到file中。 saveAsSequenceFile(path, compressionCodecClass=None) 只能用在key-value对上,然后生成SequenceFile写到本地或者hadoop文件系统。 countByKey() 对每个key出现的次数做统计。
一行记录,然后写到file中。 saveAsSequenceFile(path, compressionCodecClass=None) 只能用在key-value对上,然后生成SequenceFile写到本地或者hadoop文件系统。 countByKey() 对每个key出现的次数做统计。
一行记录,然后写到file中。 saveAsSequenceFile(path, compressionCodecClass=None) 只能用在key-value对上,然后生成SequenceFile写到本地或者hadoop文件系统。 countByKey() 对每个key出现的次数做统计。
分布式表创建规则: 创建Distributed表时需加上on cluster cluster_name,这样建表语句在某一个ClickHouse实例上执行一次即可分发到集群中所有实例上执行。 分布式表通常以本地表加“_all”命名。它与本地表形成一对多的映射关系,之后可以通过分布式表代理操作多张本地表。
“return_type”需要为HetuEngine支持的数据类型,要与函数的返回实际类型匹配,不做类型强制转换。 可以指定一组特征来修饰函数并指定其行为,每个特征最多只能指定一次,详情请参考表1。 表1 特征说明 特征 默认值 描述 Language clause - 定义函数的语言。目前支持JAVA语言。 J
恢复失败后数据状态未知(2.x及以前版本) 告警解释 执行恢复任务失败后,系统会自动回滚,如果回滚失败,可能会导致数据丢失等问题,如果该情况出现,则上报告警,如果下一次该任务恢复成功,则发送恢复告警。 告警属性 告警ID 告警级别 可自动清除 12035 致命 是 告警参数 参数名称 参数含义 ServiceName
0及以后版本。 通过HSBroker方式连接到HetuEngine,组装对应的SQL发送到HetuEngine执行,完成对Hive数据源的增删改查操作。 import jaydebeapi driver = "io.XXX.jdbc.XXXDriver" # need to change
一行记录,然后写到file中。 saveAsSequenceFile(path, compressionCodecClass=None) 只能用在key-value对上,然后生成SequenceFile写到本地或者hadoop文件系统。 countByKey() 对每个key出现的次数做统计。
一行记录,然后写到file中。 saveAsSequenceFile(path, compressionCodecClass=None) 只能用在key-value对上,然后生成SequenceFile写到本地或者hadoop文件系统。 countByKey() 对每个key出现的次数做统计。
ter_Condition(NonIndexCol1)) 当多个列用于查询时,只能为组合索引中的最后一列指定值范围,而其他列只能设置为指定值。 例如,为C1,C2和C3创建组合索引。在范围查询中,只能为C3设置数值范围,过滤条件为“C1 = XXX,C2 = XXX,C3 = 数值范围”。
default.replication.factor 自动创建Topic时的默认副本数。 2 monitor.preInitDelay 服务启动后,第一次健康检查的延迟时间。如果启动需要较长时间,可以通过调大参数,来完成启动。单位为毫秒。 600000 超时参数 表2 Broker相关超时参数
为什么有时访问没有权限的parquet表时,在上报“Missing Privileges”错误提示之前,会运行一个Job? 问题 为什么有时访问没有权限的parquet表时,在上报“Missing Privileges”错误提示之前,会运行一个Job? 回答 Spark SQL对