检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前提条件 创建用户,登录Manager页面,选择“系统 > 权限 > 用户”,单击“添加用户”,创建用户test(实际运行用户)和test1(代理用户)用户,用户组选择hadoop、hive和supergroup,主组选择hadoop。
告警属性 告警ID 告警级别 是否可自动清除 45436 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 表名 产生告警的库名.表名 对系统的影响 ClickHouse中表存在数据倾斜,可能导致sql执行效率低
ALM-44006 Presto Worker进程垃圾收集时间超出阈值 告警解释 系统每30s周期性采集Presto Worker进程的垃圾收集(GC)时间,当检测到GC时间超出阈值(连续3次检测超过5s)时产生该告警。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 IoTDBServer进程的垃圾回收(GC)时间过长,可能影响该IoTDBServer进程无法正常提供数据读写服务。
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 ConfigNode进程的垃圾回收(GC)时间过长,可能导致该ConfigNode进程数据读写性能下降。 可能原因 该节点配置的堆内存不合理,导致进程GC频繁。
告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
告警解释 系统以用户配置的告警周期检查作业Task持续背压时间,如果FlinkServer作业Task持续背压时间达到用户配置的阈值,则发送告警。当作业Task背压恢复或者作业重启成功,则告警恢复。
告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
Zookeeper设计目标是用来解决那些复杂,易出错的分布式系统难以保证数据一致性的。不必开发专门的协同应用,十分适合高可用服务保持数据一致性。 背景信息 在使用客户端前,除主管理节点以外的客户端,需要下载并更新客户端配置文件。
选择“系统管理 > 数据连接管理”,进入数据连接管理页面。 单击“创建数据连接”,在弹出的页面中选择数据连接类型,参考表1填写信息,单击“确定”,完成数据连接创建。创建完成后,可在对应数据连接的“操作”列对数据连接进行编辑、测试、删除等操作。
Flink Join样例程序开发思路 场景说明 假定某个Flink业务1每秒就会收到1条消息记录,消息记录某个用户的基本信息,包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录,消息记录该用户的名字、职业信息。 基于某些业务要求,开发的Flink应用程序实现功能
Flink Join样例程序开发思路 场景说明 假定某个Flink业务1每秒就会收到1条消息记录,消息记录某个用户的基本信息,包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录,消息记录该用户的名字、职业信息。 基于某些业务要求,开发的Flink应用程序实现功能
Flink Stream SQL Join应用开发思路 假定某个Flink业务1每秒就会收到1条消息记录,消息记录某个用户的基本信息,包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录,消息记录该用户的名字、职业信息。 基于某些业务要求,开发的Flink应用程序实现功能
表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Windows或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
操作步骤 选择“系统 > 权限 > 角色”。 单击“添加角色”,然后“角色名称”和“描述”输入角色名字与描述。 设置角色“权限”请参见表1。 设置角色的权限时,不能同时选择跨资源权限,如果需要设置多个资源的相关权限,请依次逐一设置。
操作步骤 选择“系统 > 权限 > 角色”。 单击“添加角色”,然后“角色名称”和“描述”输入角色名字与描述。 设置角色“权限”请参见表1。 设置角色的权限时,不能同时选择跨资源权限,如果需要设置多个资源的相关权限,请依次逐一设置。
User: 查看权限:“系统”页面下“权限”区域中内容的查看权限。 管理权限:“系统”页面下“权限”区域中内容的管理权限。 Audit : 管理权限:“审计”页面信息的管理权限。
为什么存储小文件过程中,缓存中的数据会丢失 问题 在存储小文件过程中,系统断电,缓存中的数据丢失。
使用介绍 登录Manager系统,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本),在Manager界面选择“集群 > 服务 > Tez”,在“基本信息”中单击“Tez WebUI”右侧的链接,打开Tez WebUI。
配置描述 在Manager系统中,选择“集群 > 服务 > Yarn > 配置”,选择“全部配置”。在搜索框中输入参数名称。 表1 参数描述 参数 描述 默认值 yarn.nodemanager.linux-container-executor.user 运行任务的用户。