检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
据告警及时检查集群情况并恢复。 严重 指集群部分功能不可用的告警,包括进程故障、周期备份任务失败、关键文件权限异常等,需要根据告警及时检查报告告警的对象并恢复。 一般 指不影响当前集群主要功能的告警,包括证书文件即将过期、审计日志转储失败、License文件即将过期等告警。 提示
MRS集群部署方案说明 MRS当前提供的“分析集群”、“流式集群”和“混合集群”采用固定模板进行部署集群的进程,无法满足用户自定义部署管理角色和控制角色在集群节点中的需求。 如需自定义集群部署方式,可在创建集群时的“集群类型”选择“自定义”,实现用户自主定义集群的进程实例在集群节点中的部署方式。
MRS集群节点的CPU架构类型,可选择“x86计算”或者“鲲鹏计算”。MRS 3.1.0及MRS 3.1.5版本无该参数。 x86计算 常用模板 当“集群类型”选择“自定义”时该参数有效,常用模板包含“管控合设”、“数据分设”和“管控分设”,具体详情请参考MRS集群部署类型说明选择。 管控合设 节点组名称 设置集群内节点组的名称。
Yarn常用配置参数 Yarn日志介绍 配置Yarn本地化日志级别 检测Yarn内存使用情况 更改NodeManager的存储目录 配置Yarn大作业扫描 父主题: 使用Yarn
list的值直接引用Yarn中对应配置项的值,因此需要修改Yarn中对应配置项的值并重启Yarn和MapReduce服务。 TLSv1协议存在安全漏洞,请谨慎使用。 操作步骤 获取MapReduce上已完成任务的具体信息 命令: curl -k -i --negotiate -u : "https://10
定位信息”。查看告警上报的实例的ip。 在MRS集群详情页面,单击“组件管理 > ZooKeeper > 实例 > quorumpeer(对应上报告警实例ip) > 定制 > ZooKeeper堆内存与直接内存资源状况”。查看堆内存使用情况。 查看ZooKeeper使用的堆内存是否已达
在作业管理页面查看当前作业的健康状态: 空:作业未运行,无健康状态 绿色图标:健康 黄色图标:亚健康 红色图标:不健康 导出所有作业健康报告 单击“作业健康报告”,系统会自动将所有作业的健康状态信息导出至本地,包括作业名称,健康度,提交用户,告警信息,配置信息和启动时间等。 健康度为“0”:健康
使用Hive加载HDFS数据并分析图书评分情况 本实践指导使用Hive对原始数据进行导入、分析等操作,展示了如何构建弹性、低成本的离线大数据分析。以某图书网站后台用户的点评数据为原始数据,导入Hive表后通过SQL命令筛选出最受欢迎的畅销图书。 使用Hive加载OBS数据并分析企业雇员信息 本实
clickhouse client --host 上报告警的ClickHouseServer实例IP --port --secure 集群未启用Kerberos认证(普通模式): clickhouse client --host 上报告警的ClickHouseServer实例IP --user
在Manager执行健康检查 MRS 3.x及之后版本: 登录FusionInsight Manager。 选择“运维 > 健康检查”。 默认显示所有已保存的检查报告,以列表形式展示,详情可参考表1。 启动健康检查。 直接启动健康检查: 单击“启动检查”,根据界面提示单击“确定”启动健康检查。 设置定期自动健康检查:
list的值直接引用Yarn中对应配置项的值,因此需要修改Yarn中对应配置项的值并重启Yarn和MapReduce服务。 TLSv1协议存在安全漏洞,请谨慎使用。 操作步骤 获取MapReduce上已完成任务的具体信息 命令: curl -k -i --negotiate -u : "https://10
clickhouse client --host 上报告警的ClickHouseServer实例IP --port 9440 --secure 集群未启用Kerberos认证(普通模式): clickhouse client --host 上报告警的ClickHouseServer实例IP
定位信息”。查看告警上报的实例的主机名。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Kafka > 实例”,选择上报告警实例主机名对应的角色 。单击图表区域右上角的下拉菜单,选择“定制 > 进程 > Broker垃圾回收(GC)时间”,单击“确定”。 图1
sExample方法中。 enableIndices ():启用指定的索引(索引状态将从INACTIVE变为ACTIVE状态),因此可用于扫描索引。 public void enableIndicesExample() { LOG.info("Entering Enabling
生效。 解决MRS客户端安装成功后出现注册客户端信息到集群上的报错提示的问题。 CVE-2023-24998和CVE-2022-33980漏洞修复。 解决节点隔离后频繁触发节点故障无效告警的问题。 解决集群替换CA证书后,管理面无法跳转租户面的问题。 解决节点使用tc命令丢包30
警阈值。 等待2分钟,查看告警是否消失。 是,处理完毕。 否,执行4。 查看磁盘使用率是否达到上限 展开告警信息,查看“定位信息”,查看上报告警的QAS角色名称和主机名。 选择“集群 > 服务 > HetuEngine > 实例”,单击告警信息中对应的QAS角色名称,进入实例界面
clickhouse client --host 上报告警的ClickHouseServer实例IP --port 21427 --secure 普通模式(关闭Kerberos): clickhouse client --host 上报告警的ClickHouseServer实例IP --user
clickhouse client --host 上报告警的ClickHouseServer实例IP --port 21427 --secure 普通模式(关闭Kerberos): clickhouse client --host 上报告警的ClickHouseServer实例IP --user
动态规则dynamic_0001(SQL语句扫描的文件数超过阈值),当Spark与Tez引擎达到提示阈值时拦截日志会在Yarn任务日志中打印,不支持在Beeline客户端输出。 熔断规则存在统计误差,例如规则running_0004,扫描数据量阈值配置10GB,但是因为判断周期和任
clickhouse client --host 上报告警的ClickHouseServer实例IP --port 9440 --secure 集群未启用Kerberos认证(普通模式): clickhouse client --host 上报告警的ClickHouseServer实例IP