检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
zkRegisterServerHandler, 2));//通过NettySink发送出去。 env.execute(); } } 第一个订阅者 下面代码片段仅为演示，完整代码参见FlinkPipelineJavaExample样例工程下的com.huawei.bigdata
Manager，单击“系统设置”。 在“配置”区域“监控和告警配置”下，单击“阈值配置”，依据规划选择监控指标并设置其基线。 单击某一指标例如“CPU使用率”，单击“添加规则”。 在“配置”对话框中填写监控指标规则参数。 表2 监控指标规则参数 参数名 参数解释 参数示例 规则名称
Manager操作审计日志 不支持 支持 资源监控 支持 支持 MRS集群管理对象说明 MRS集群包含了各类不同的基本对象，不同对象的描述介绍如表2所示。 表2 MRS基本对象概览 对象 描述 举例 组件 可以完成具体业务的一类功能集合。 例如KrbServer组件和LdapServer组件。 实例
YARN基本原理 为了实现一个Hadoop集群的集群共享、可伸缩性和可靠性，并消除早期MapReduce框架中的JobTracker性能瓶颈，开源社区引入了统一的资源管理框架YARN。 YARN是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离，主要方法是创建一个全局的Res
在主机列表单击指定的主机名称，查看主机概览信息。 在主机详情页面，主要包含基本信息区、磁盘状态区、实例列表区和监控图表等。 单击“图表”页签，可直接查看该主机的全量监控图表信息。 图表页面可直接查看该主机的全量监控图表信息 MRS 2.x及之前版本 登录MRS Manager。 单击“主机管理”，看所有主机状态。
Oozie是一个基于工作流引擎的开源框架，它能够提供对Hadoop作业的任务调度与协调。 Oozie结构 Oozie引擎是一个Web App应用，默认集成到Tomcat中，采用pg数据库。 基于Ext提供WEB Console，该Console仅提供对Oozie工作流的查看和监控功能。
中按用户自定义的周期显示分布曲线图。MRS集群指标监控采用周期性监控，历史监控平均周期约为5分钟。 用户可在MRS管理控制台或者Manager界面中查看集群整体的资源概况。 更多详情请参见查看和定制集群监控指标和管理组件和主机监控。 父主题： 安全
在ZooKeeper各个实例节点上执行id -Gn kafka命令，发现有一个节点无法查询用户组信息。 [root @bdpsit3ap03 ~]# id -Gn kafka id: kafka: No such user [root @bdpsit3ap03 ~]# MRS集群中的用户管理由LDAP服
OpenTSDB应用开发简介 OpenTSDB简介 OpenTSDB是一个基于HBase的分布式、可伸缩的时间序列数据库。OpenTSDB的设计目标是用来采集大规模集群中的监控类信息，并可实现数据的秒级查询，解决海量监控类数据在普通数据库中查询存储的局限性。 OpenTSDB使用场景有如下几个特点：
9_RootPatch_20240605.tar.gz 亚太-香港：https://mrs-container1-patch-ap-southeast-1.obs.ap-southeast-1.myhuaweicloud.com/MRS_Common_Script/MRS_3.2.0-LTS
本章节指导您如何在MRS集群中提交一个SparkSubmit作业。 Spark是一个开源的并行数据处理框架，能够帮助用户简单、快速的开发，统一的大数据应用，对数据进行离线处理、流式处理、交互式分析等。 用户可以在MRS管理控制台在线创建一个作业并提交运行，也可以通过MRS集群客户端来以命令行形式提交作业。
Impala是用于处理存储在Hadoop集群中的大量数据的MPP（大规模并行处理）SQL查询引擎。 它是一个用C++和Java编写的开源软件。 与其他Hadoop的SQL引擎相比，它拥有高性能和低延迟的特点。 背景信息 假定用户开发一个应用程序，用于管理企业中的使用A业务的用户信息，使用Impala客户端实现A业务操作流程如下：
Impala是用于处理存储在Hadoop集群中的大量数据的MPP（大规模并行处理）SQL查询引擎。 它是一个用C++和Java编写的开源软件。 与其他Hadoop的SQL引擎相比，它拥有高性能和低延迟的特点。 背景信息 假定用户开发一个应用程序，用于管理企业中的使用A业务的用户信息，使用Impala客户端实现A业务操作流程如下：
ZooKeeper与其他组件的关系 ZooKeeper和HDFS的关系 ZooKeeper与HDFS的关系如图1所示。 图1 ZooKeeper和HDFS的关系 ZKFC（ZKFailoverController）作为一个ZooKeeper集群的客户端，用来监控NameNode的状态信息。ZKFC
”，进入HDFS精细化页面。 找到“资源使用（按目录）”监控项，单击该监控项左上角第一个图标。 进入配置空间监控子页面，单击“添加”。 在名称空格中填写监控的表名称（或其他用户自定义的别名），在路径中填写需要监控表的路径。单击“确定”。该监控的横坐标为时间，纵坐标为监控目录的大小。 父主题： Hive常见问题
”，进入HDFS精细化页面。 找到“资源使用（按目录）”监控项，单击该监控项左上角第一个图标。 进入配置空间监控子页面，单击“添加”。 在名称空格中填写监控的表名称（或其他用户自定义的别名），在路径中填写需要监控表的路径。单击“确定”。该监控的横坐标为时间，纵坐标为监控目录的大小。 父主题： Hive常见问题
500 轮询监控目录下新文件时的时延。单位：毫秒。 recursiveDirectorySearch false 是否监控配置的目录下子目录中的新文件。 consumeOrder oldest 监控目录下文件的消耗次序。如果配置为oldest或者youngest，会根据监控目录下文件
题中产生和消费消息的操作指导。 Kafka集群提供一个高吞吐量、可扩展性的消息系统，广泛用于日志收集、监控数据聚合等场景。Kafka可实现高效的流式数据采集、实时数据处理存储等。 操作流程 开始使用如下样例前，请务必按准备工作指导完成必要操作。 创建MRS集群：创建一个MRS 3
服务”，单击待操作的服务名称，单击“资源”，进入资源监控页面。 集群中部分服务提供服务级别的资源监控项，默认显示12小时的监控数据。用户可单击自定义时间区间。单击可导出相应报表信息，无数据的监控项无法导出报表。支持资源监控的服务及监控项如下表所示。 表1 服务资源监控 服务 监控指标 说明 HDFS 资源使用（按租户）
加操作。HDFS保证一个文件在一个时刻只被一个调用者执行写操作，而可以被多个调用者执行读操作。 如需使用HDFS，请确保MRS集群内已安装Hadoop服务。 HDFS结构 HDFS包含主、备NameNode和多个DataNode，如图1所示。 HDFS是一个Master/Slav
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
