检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-25000 LdapServer服务不可用 告警解释 系统按30秒周期性检测LdapServer的服务状态,当检测到两个LdapServer服务均异常时产生该告警。 当检测到一个或两个LdapServer服务恢复时告警恢复。 告警属性 告警ID 告警级别 是否自动清除 25000
ALM-45652 Flink服务不可用 本章节适用于MRS 3.3.0及以后版本。 告警解释 告警模块按60秒周期检测Flink服务状态。当检测到Flink服务不可用时产生该告警。Flink服务恢复时,告警恢复。 告警属性 告警ID 告警级别 是否可自动清除 45652 紧急 是
端启动。yarn-client模式下,不兼容老版本的客户端。推荐使用yarn-cluster模式。 客户端向ResourceManager发送Spark应用提交请求,ResourceManager为其返回应答,该应答中包含多种信息(如ApplicationId、可用资源使用上限和
ALM-18000 Yarn服务不可用(2.x及以前版本) 告警解释 告警模块按30秒周期检测Yarn服务状态。当检测到Yarn服务不可用时产生该告警。 Yarn服务恢复时,告警恢复。 告警属性 告警ID 告警级别 可自动清除 18000 致命 是 告警参数 参数名称 参数含义 ServiceName
ALM-14000 HDFS服务不可用(2.x及以前版本) 告警解释 系统每30秒周期性检测NameService的服务状态,当检测到所有的NameService服务都异常时,就会认为HDFS服务不可用,此时产生该告警。 至少一个NameService服务正常后,系统认为HDFS服务恢复,告警清除。
在FusionInsight Manager的告警列表中查看是否有“HDFS服务不可用”告警产生,服务列表中HDFS是否已停止。 是,如果有告警参考ALM-14000 HDFS服务不可用”的处理步骤处理该故障;如果HDFS已停止,启动HDFS服务,执行7。 否,执行7。 本地打开用户自定义配置文件properties
<arg>:指定YARN 队列。 -s,--slots <arg>:设置每个Taskmanager的SLOT个数。 -t,--ship <arg>:指定待发送文件的目录。 -tm,--taskManagerMemory <arg>:为TaskManager设置内存。 -yd,--yarndetached:以分离模式启动。
<arg>:指定YARN 队列。 -s,--slots <arg>:设置每个Taskmanager的SLOT个数。 -t,--ship <arg>:指定待发送文件的目录。 -tm,--taskManagerMemory <arg>:为TaskManager设置内存。 -yd,--yarndetached:以分离模式启动。
假定某个Flink业务1每秒就会收到1条消息记录,消息记录某个用户的基本信息,包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录,消息记录该用户的名字、职业信息。 基于某些业务要求,开发的Flink应用程序实现功能:实时的以根据业务2中消息记录的用户名字作为关键字,对两个业务数据进行联合查询。
假定某个Flink业务1每秒就会收到1条消息记录,消息记录某个用户的基本信息,包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录,消息记录该用户的名字、职业信息。 基于某些业务要求,开发的Flink应用程序实现功能:实时的以根据业务2中消息记录的用户名字作为关键字,对两个业务数据进行联合查询。
假定某个Flink业务1每秒就会收到1条消息记录,消息记录某个用户的基本信息,包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录,消息记录该用户的名字、职业信息。 基于某些业务要求,开发的Flink应用程序实现功能:实时的以根据业务2中消息记录的用户名字作为关键字,对两个业务数据进行联合查询。
5.0.3及之后补丁版本 重要:MRS 3.3.0之前版本 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 磁盘名 产生告警的磁盘名。 对系统的影响 系统性能下降,慢盘会导
通过Manager下载客户端文件至本地获取: 登录FusionInsight Manager页面,选择“集群 > 服务 > HetuEngine > 更多 > 下载客户端”。 选择“完整客户端”,根据待安装客户端节点的节点类型选择正确的平台类型(x86选择“x86_64”,ARM选择“aarch64”),不勾选“仅保
Join样例程序。 假定某个Flink业务1每秒就会收到1条消息记录,消息记录某个用户的基本信息,包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录,消息记录该用户的名字、职业信息。实现实时的以根据业务2中消息记录的用户名字作为关键字,对两个业务数据进行联合查询的功能。
Join样例程序。 假定某个Flink业务1每秒就会收到1条消息记录,消息记录某个用户的基本信息,包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录,消息记录该用户的名字、职业信息。实现实时的以根据业务2中消息记录的用户名字作为关键字,对两个业务数据进行联合查询的功能。
配置完成之后,在CDL WebUI界面创建从thirdparty-kafka抓取数据到Hudi的任务并启动即可收到心跳数据。 数据判齐消息字段含义 表1 数据判齐消息字段 字段名 描述 cdl_job_name 本批次数据所属同步任务名称 target_table_schema 本批次数据写入Schema名称
通过Manager下载客户端文件至本地获取: 登录FusionInsight Manager页面,选择“集群 > 服务 > HetuEngine > 更多 > 下载客户端”。 选择“完整客户端”,根据待安装客户端节点的节点类型选择正确的平台类型(x86选择“x86_64”,ARM选择“aarch64”),不勾选“仅保
ALM-38000 Kafka服务不可用(2.x及以前版本) 告警解释 系统按照30秒的周期检测Kafka服务是否可用,当Kafka服务不可用,系统产生此告警。 当Kafka服务恢复正常,告警自动清除。 告警属性 告警ID 告警级别 可自动清除 38000 致命 是 告警参数 参数名称
ALM-14000 HDFS服务不可用 告警解释 系统每60秒周期性检测NameService的服务状态,当检测到所有的NameService服务都异常时,就会认为HDFS服务不可用,此时产生该告警。 至少一个NameService服务正常后,系统认为HDFS服务恢复,告警清除。 告警属性
占满时Spout暂停消息发送。增加pending值可提高Spout的每秒消息吞吐量,提高性能,但延时同步增加。 topology.transfer.buffer.size 32 每个worker进程Distuptor消息队列大小,建议在4到32之间,增大消息队列可以提升吞吐量,但延时可能会增加。