检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是,处理完毕。 否,执行5。 检查Oozie与Yarn连接是否异常。 在FusionInsight Manager界面,选择“运维 > 日志 > 在线检索”,选择“Oozie”服务,检索日志关键词“[Oozie Alarm Enhancement][YARN]”,在日志中查看具体告警原因
每个磁盘分区的使用情况。 实例列表区 实例列表区显示了该主机所有安装的角色实例,并显示每个角色实例的状态,单击角色实例名称后的日志文件,可在线查看该实例对应日志文件内容。 告警和事件的历史记录 告警和事件的历史记录区显示了当前主机上报的关键告警与事件记录,系统最多可显示20条历史记录。
示例:对此规则或建议从正、反两个方面给出。 适用范围 基于MRS-Hudi进行数据存储、数据加工作业的设计、开发、测试和维护。 该设计开发规范是基于MRS 3.3.0版本。 父主题: Hudi应用开发规范
否,执行5。 检查Oozie与ZooKeeper连接是否异常。 在FusionInsight Manager界面,选择“运维 > 日志 > 在线检索”,选择“Oozie”服务,检索日志关键词“[Oozie Alarm Enhancement][ZooKeeper]”,在日志中查看具
是,处理完毕。 否,执行5。 检查Oozie与HDFS连接是否异常。 在FusionInsight Manager界面,选择“运维 > 日志 > 在线检索”,选择“Oozie”服务,检索日志关键词“[Oozie Alarm Enhancement][HDFS]”,在日志中查看具体告警原因
确认“HostName”节点的“PartitionName”对应的磁盘是否在对应服务器的插槽上。 是,执行5。 否,执行6。 联系硬件工程师将故障磁盘在线拔出。 使用PuTTY工具登录发生告警的“HostName”节点,检查“/etc/fstab”文件中是否包含“DirName”的行。 是,执行7。
delta_commits 选填 MOR表Compaction计划触发条件。 200 compaction.async.enabled 必填 是否开启在线压缩。将compaction操作转移到sparksql运行,提升写性能。 FALSE hive_sync.enable 选填 是否向Hive同步表信息。
替换) 将需要的线程ID转换为16进制格式: printf "%x\n" 30648 输出结果TID为77b8。 根据输出16进制TID,在线程堆栈中进行查找,发现在执行compaction操作。 对其它线程执行相同操作,发现均为compactions线程。 解决办法 属于正常现象。
施的影响,具体请参考MRS集群补丁说明。 MRS 2.x及之前版本、MRS 3.1.5及之后版本、MRS 3.2.0-LTS及之后版本支持在线安装补丁。 安装补丁 登录MRS管理控制台。 选择“现有集群”,选中一集群并单击集群名,进入集群基本信息页面。 进入“补丁管理”页面的“集
载目录名”。 确认“主机名”节点的“设备分区名”对应的磁盘是否在对应服务器的插槽上。 是,执行4。 否,执行5。 联系硬件工程师将故障磁盘在线拔出。 以root用户登录发生告警的“主机名”节点,检查“/etc/fstab”文件中是否包含“挂载目录名”的行,用户密码为安装前用户自定义,请咨询系统管理员。
区移出存储池;如果硬盘恢复正常(通常是因为用户更换了新硬盘),也会将新硬盘重新加入业务运作。这样极大简化了维护人员的工作,更换故障硬盘可以在线完成;同时用户可以设置热备盘,从而极大缩减了故障硬盘的修复时间,有利于提高系统的可靠性。 节点磁盘LVM配置 MRS支持将多个磁盘配置成LVM(Logic
MRS_hbase 集群类型 提供几种集群类型: 分析集群 流式集群 混合集群 自定义 自定义 版本类型 提供以下版本类型: 普通版 LTS版 普通版 集群版本 MRS目前支持的版本。 MRS 3.1.0 组件选择 MRS集群配套的组件,MRS不同版本集群支持的组件版本请参见MRS组件版本一览表。
ot用户。如果为非root用户,请参考创建并配置RDS实例操作。 单击“确定”完成创建。 配置Hive数据连接 该功能在MRS 3.0.5版本暂不支持。 登录MRS控制台,在导航栏选择“现有集群”。 单击集群名称,进入集群详情页面。 在集群详情页的“概览”页签,单击“数据连接”右侧的“单击管理”。
控制应用程序。此外,MRS集群管理员可指定队列管理员和集群系统管理员。 动态更新配置文件。MRS集群管理员可根据需要动态修改配置参数以实现在线集群管理。 Capacity Scheduler中每个队列可以限制资源使用量。队列间的资源分配以使用量作为排列依据,使得容量小的队列有竞争
Spark SQL Native DDL/DML Spark 1.5版本将很多DDL/DML命令下压到Hive执行,造成了与Hive的耦合,且在一定程度上不够灵活(比如报错不符合预期、结果与预期不一致等)。 Spark 3.1.1版本实现了命令的本地化,使用Spark SQL Native
息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。 Kafka基本原理