检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-18026 Yarn上运行失败的任务数超过阈值 告警解释 告警模块按60秒周期检测Yarn root队列上失败的应用的数量,当root队列上该监控周期内新增的运行失败的应用的数量超过50时,且连续发生3次以上,触发该告警。 告警属性 告警ID 告警级别 是否自动清除 18026
配置Hudi通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env
Flink开启Checkpoint样例程序(Scala) 功能介绍 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量,并做到状态严格一致性。 代码样例 发送数据形式。 下面代码片段仅为演示,完整代码参见FlinkCheckpointScalaExample样例工程下的com.huawei
Flink异步Checkpoint Scala样例代码 代码样例 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量,并做到状态严格一致性。 发送数据形式 1 case class SEvent(id: Long, name: String, info: String, count:
ALM-12172 指标上报CES失败 告警解释 集群开启指标共享后,controller周期性的收集集群指标信息并上报到CES。 告警属性 告警ID 告警级别 是否自动清除 12172 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或者系统名称 服务名 产生告警的服务名称
社区从一开始就支持这种方式,为了降低对Zookeeper组件的依赖,社区将在后续版本中删除对这种方式的支持。基于这种方式创建Topic时,可以通过 "--enable-rack-aware" 和 “--enable-az-aware”这两个选项自由组合来选用副本分配策略。注意:使
MRS集群切换VPC后集群状态异常不可用 问题现象 客户MRS集群,在ECS侧将所有节点的VPC切换后集群状态异常。 所有服务不可用,其中Hive beeline报错如下: 原因分析 MRS不支持切换VPC,切换VPC后,节点的内网IP变化,但是配置文件和数据库还是原有的IP,导
ALM-45337 Presto Worker3进程垃圾收集时间超出阈值 告警解释 系统每30s周期性采集Presto Worker3进程的垃圾收集(GC)时间,当检测到GC时间超出阈值(连续3次检测超过5s)时产生该告警。当 Worker3进程GC时间小于或等于告警阈值时,告警清除。
MRS多租户使用流程 多租户使用说明 租户主要用于资源控制、业务隔离的场景。在实际业务中,用户需要先明确使用集群资源的业务场景,规划租户。 多租户使用包含三类操作:创建租户、管理租户和管理资源。各操作的具体动作如表1所示。 表1 使用租户的各种操作 操作 具体动作 说明 创建租户
ALM-45327 Presto Coordinator进程垃圾收集时间超出阈值 本章节仅适用于MRS 3.1.5及之后版本。 告警解释 系统每30s周期性采集Presto Coordinator进程的垃圾收集(GC)时间,当检测到GC时间超出阈值(连续3次检测超过5s)时产生该告警。当
ALM-45328 Presto Worker进程垃圾收集时间超出阈值 本章节仅适用于MRS 3.1.5及之后版本。 告警解释 系统每30s周期性采集Presto Worker进程的垃圾收集(GC)时间,当检测到GC时间超出阈值(连续3次检测超过5s)时产生该告警;当Worker
ALM-45335 Presto Worker1进程垃圾收集时间超出阈值 告警解释 系统每30s周期性采集Presto Worker1进程的垃圾收集(GC)时间,当检测到GC时间超出阈值(连续3次检测超过5s)时产生该告警。当 Worker1进程GC时间小于或等于告警阈值时,告警清除。
ALM-45336 Presto Worker2进程垃圾收集时间超出阈值 告警解释 系统每30s周期性采集Presto Worker2进程的垃圾收集(GC)时间,当检测到GC时间超出阈值(连续3次检测超过5s)时产生该告警。当 Worker2进程GC时间小于或等于告警阈值时,告警清除。
创建FlinkServer流表源 通过数据表,定义源表、维表、输出表的基本属性和字段信息。 新建FlinkServer流表步骤 访问Flink WebUI,请参考访问FlinkServer WebUI界面。 单击“流表管理”进入流表管理页面。 单击“新建流表”,在新建流表页面参考
配置Spark Streaming对接Kafka时数据后进先出功能 配置场景 当Spark Streaming应用与Kafka对接,Spark Streaming应用异常终止并从checkpoint恢复重启后,对于进入Kafka数据的任务,系统默认优先处理应用终止前(A段时间)未
配置Kafka后进先出 配置场景 当Spark Streaming应用与Kafka对接,Spark Streaming应用异常终止并从checkpoint恢复重启后,对于进入Kafka数据的任务,系统默认优先处理应用终止前(A段时间)未完成的任务和应用终止到重启完成这段时间内(B
创建FlinkServer流表源 操作场景 通过数据表,定义源表、维表、输出表的基本属性和字段信息。 新建流表 访问Flink WebUI,请参考访问FlinkServer WebUI界面。 单击“流表管理”进入流表管理页面。 单击“新建流表”,在新建流表页面参考表1填写信息,单
基于Kafka的Word Count数据流统计案例 应用场景 Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性,主要用于处理活跃的流式数据。 Kafka有很多适用的场景:消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。
SparkStreaming消费Kafka消息失败,提示“Couldn't find leader offsets” 问题背景与现象 使用SparkStreaming来消费Kafka中指定Topic的消息时,发现无法从Kafka中获取到数据。 提示如下错误: Couldn't find
ALM-45338 Presto Worker4进程垃圾收集时间超出阈值 告警解释 系统每30s周期性采集Presto Worker4进程的垃圾收集(GC)时间,当检测到GC时间超出阈值(连续3次检测超过5s)时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 服务 > Presto”修改阈值,当