检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ZooKeeper服务端与客户端(ZKFC)通信时所使用的session不一致,ZooKeeper服务端的sessionId为0x164cb2b3e4b36ae4,ZKFC的sessionId为0x144cb2b3e4b36ae4。这意味着ZooKeeper服务端与客户端(ZKFC)之间数据交互失败。
Knox进程占用内存高 用户问题 knox进程占用内存高。 问题现象 主Master节点内存使用率高,用top -c命令查看到占用内存较高的进程中有knox进程,且此进程占用内存超过4 GB。 原因分析 knox进程没有单独配置内存,进程会自动根据系统内存大小按照比例划分可用内存,导致knox占用内存大。
创建Kafka权限角色 操作场景 该任务指导MRS集群管理员创建并设置Kafka的角色。 本章节内容适用于MRS 3.x及后续版本。 安全模式集群支持创建Kafka角色,普通模式集群不支持创建Kafka角色。 如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关
动失败的问题。 解决HetuEngine CN主备倒换,计算实例状态短暂变成ERROR导致业务失败问题。 支持ClickHouse备份到OBS。 解决ClickHouse物化视图的基表中添加列,报OOM的问题。 解决ClickHouse Mysql引擎偶现卡顿问题(root补丁修复)。
如“/opt/female”。运行Spark应用程序,具体样例程序可参考开发Spark应用。 在Spark任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例,否则可能会导致任务失败,并可能导致JobHistory部分数据丢失。 查看调测结果 Spark应用程序运
步失败,导致启动HDFS服务失败。 Chrony时钟偏移精度低导致上报持续上报“NTP服务异常”与“NTP服务不可用”告警。 优化节点间互信失效告警,自动恢复功能。 重启Agent进程,如果这个Agent节点安装有服务健康检查配置的关键实例,将会误报服务不可用告警。 运维通道功能校验签名失败后任务阻塞。
Tez Tez是Apache最新的支持DAG(有向无环图)作业的开源计算框架,它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。 MRS将Tez作为Hive的默认执行引擎,执行效率远远超过原先的MapReduce的计算引擎。 有关Tez的详细说明,请参见:https://tez
用方案。若出现集群使用问题请联系运维人员支撑处理。 配置示例:参照方案一中示例,配置策略为“允许”,目的地址为通信安全授权地址、NTP、OBS、Openstack及DNS地址的出方向规则。 父主题: 管理MRS集群
MRS集群配置参数 参数 示例 参数说明 计费模式 按需计费 选择待创建的集群的计费模式,MRS提供“包年/包月”与“按需计费”两种计费模式。 按需计费是一种后付费模式,即先使用再付费,按照MRS集群实际使用时长计费。 区域 华北-北京四 选择区域。 不同区域的云服务产品之间内网互不相通。请就近
log 服务启动前初始化集群的日志。 startDetail.log 启动服务的日志。 stopDetail.log 停止服务的日志。 cleanupDetail.log 服务执行cleanup的日志。 check-serviceDetail.log 服务安装完成之后验证服务状态的。
任务运行中查看日志失败。 任务运行完成,但是查看不到日志。 原因分析 问题1:可能原因是MapReduce服务异常。 问题2:可能原因如下: Spark的JobHistory服务异常。 日志太大,NodeManager在做日志汇聚的时候出现超时。 HDFS存放日志目录权限异常(默认
如果不包含,将上述内容添加到配置项末尾处。 查看调测结果 通过MapReduce服务的WebUI进行查看 使用具有任务查看权限的用户登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Mapreduce > JobHistoryServer”进入Web界面后查看任务执行状态。
Presto Presto是一个开源的用户交互式分析查询的SQL查询引擎,用于针对各种大小的数据源进行交互式分析查询。其主要应用于海量结构化数据/半结构化数据分析、海量多维数据聚合/报表、ETL、Ad-Hoc查询等场景。 Presto允许查询的数据源包括Hadoop分布式文件系统
的IP访问范围的规则。 单击“提交订单”。 进入“购买MapReduce服务”页面,单击“确认付款”。 单击“确认订单,暂不付款”。 进入“集群信息页面”。选择“费用 > 我的订单”,单击“支付”,进入费用中心进行支付。 支付成功后,返回MRS控制台,可查看集群状态。 集群扩容过程说明如下:
Kafka集群broker实例IP获取方法如下: MRS 3.x及后续版本,登录FusionInsight Manager,然后选择“集群 > 待操作的集群名称 > 服务 > Kafka”。单击“实例”,查看Kafka角色实例的IP地址。 kafka_topic_list 是 Kafka的topic列表。 kafka_group_name
KrbServer及LdapServer KrbServer及LdapServer基本原理 KrbServer及LdapServer开源增强特性 父主题: 组件介绍
如果不包含,将上述内容添加到配置项末尾处。 查看调测结果 通过MapReduce服务的WebUI进行查看 使用具有任务查看权限的用户登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Mapreduce > JobHistoryServer”进入Web界面后查看任务执行状态。
使用root用户登录集群主节点,并进入“/home/omm”目录。 查看是否存在“MRS_3.1.0_HBase_patch_20220929”、“MRS_3.1.0_OBSA_Patch_20230428”、“MRS_3.1.0_HBase-qingting_20220424”目录。 是,不能实施此补丁。 否,检查结束。
Hudi SQL语法参考 Hudi SQL使用约束 Hudi DDL语法说明 Hudi DML语法说明 Hudi CALL COMMAND语法说明 Hudi TTL语法说明 父主题: 使用Hudi
使用Storm 从零开始使用Storm 使用Storm客户端 使用客户端提交Storm拓扑 访问Storm的WebUI 管理Storm拓扑 查看Storm拓扑日志 Storm常用参数 配置Storm业务用户密码策略 迁移Storm业务至Flink Storm日志介绍 性能调优