检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ZooKeeper基本原理 ZooKeeper简介 ZooKeeper是一个分布式、高可用性的协调服务。在大数据产品中主要提供两个功能： 帮助系统避免单点故障，建立可靠的应用程序。 提供分布式协作服务和维护配置信息。 ZooKeeper结构 ZooKeeper集群中的节点分为三种角色：Le
Impala应用开发简介 Impala简介 Impala直接对存储在HDFS，HBase 或对象存储服务（OBS）中的Hadoop数据提供快速，交互式SQL查询。除了使用相同的统一存储平台之外，Impala还使用与Apache Hive相同的元数据，SQL语法（Hive SQL），O
Producer发送数据失败，报错“NullPointerException” 问题现象 使用MRS安装集群，主要安装ZooKeeper、Kafka。 在使用Producer向Kafka发送数据功能时，发现客户端抛出NullPointerException。 可能原因 Kafka服务异常。
的互信是否正常，如果存在互信失效的节点，则发送告警。待问题修复，该告警会自动清除。 告警属性 告警ID 告警级别 是否自动清除 12066 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名
D。 可能原因 Kafka服务异常。 客户端Producer侧采用非安全访问，服务端配置禁止访问。 客户端Producer侧采用非安全访问，Kafka Topic设置ACL。 原因分析 Producer发送数据到Kafka失败，可能原因客户端Producer侧问题或者Kafka侧问题。
来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 告警长期存在时，会导致Manager频繁主备倒换，用户无法正常登录FusionInsight Manager平台，无法进行正常运维操作。 cep进
来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 告警长期存在时，会导致Manager频繁主备倒换，用户无法正常登录FusionInsight Manager平台，无法进行正常运维操作。 fms进
告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 NodeAgent代理进程异常，无法上报心跳至平台。如果因为网络、硬件故障或ssh互信造成，则组件业务无法保证正常。
Storm与其他组件的关系 Storm，提供实时的分布式计算框架，它可以从数据源（如Kafka、TCP连接等）中获得实时消息数据，在实时平台上完成高吞吐、低延迟的实时计算，并将结果输出到消息队列或者进行持久化。Storm与其他组件的关系如图1所示： 图1 组件关系图 Storm和Streaming的关系
份集群管理系统的数据，以便在系统故障时，恢复集群管理系统功能。 为进一步提供系统的可靠性，在将Manager、HBase上的数据备份到第三方服务器时，也需要通过手动备份。 节点可靠性 操作系统健康状态监控 周期采集操作系统硬件资源使用率数据，包括CPU、内存、硬盘、网络等资源的使用率状态。
“系统资源调整基数”表示集群中每个节点可以被集群服务使用的最大资源。如果节点只有一个服务，则表示此服务独占节点可用资源。如果节点有多个服务，则表示所有服务共同使用节点可用资源。 “CPU”表示节点中服务可使用的最大CPU。 “Memory”表示节点中服务可使用的最大内存。 在图表区域，查看集群服务资源使用状态指标数据图表。
网络隔离环境。 资源隔离 MRS服务支持资源专属区内部署，专属区内物理资源隔离，用户可以在专属区内灵活地组合计算存储资源，包括专属计算资源+共享存储资源、共享计算资源+专属存储资源、专属计算资源+专属存储资源。 主机安全 MRS支持与公有云安全服务集成，支持漏洞扫描、安全防护、应
共仓库下载。 开发者能力要求 您已经对大数据各组件具备一定的认识。 您已经对Java语法具备一定的认识。 您已经对弹性云服务器的使用方式和MapReduce服务开发组件有一定的了解。 您已经对Maven构建方式具备一定的认识和使用方法有一定了解。 MRS应用开发流程说明 通常MR
来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 告警长期存在时，会导致Manager频繁主备倒换，用户无法正常登录FusionInsight Manager平台，无法进行正常运维操作。 http
参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 对系统的影响 告警长期存在时，会导致Manager频繁主备倒换，用户无法正常登录FusionInsight Manager平台，无法进行正常运维操作。 pms进程
来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 告警长期存在时，会导致Manager频繁主备倒换，用户无法正常登录FusionInsight Manager平台，无法进行正常运维操作。 cont
Impala应用开发简介 Impala直接对存储在HDFS、HBase或对象存储服务（OBS）中的Hadoop数据提供快速、交互式SQL查询。除了使用相同的统一存储平台之外，Impala还使用与Apache Hive相同的元数据、SQL语法（Hive SQL）、ODBC驱动程序和
Impala应用开发简介 Impala直接对存储在HDFS，HBase 或对象存储服务（OBS）中的Hadoop数据提供快速，交互式SQL查询。除了使用相同的统一存储平台之外，Impala还使用与Apache Hive相同的元数据，SQL语法（Hive SQL），ODBC驱动程序
MRS作业类型介绍 MRS作业分类 MRS作业是MRS为用户提供的程序执行平台，用于处理和分析用户数据。用户可以在MRS管理控制台中在线创建作业任务，也可以通过集群客户端后台方式提交作业。 MRS作业处理的数据通常来源于OBS或HDFS，用户创建作业前需要将待分析数据上传至OBS
本章节内容适用于MRS 3.x及后续版本。 Flink从0.10.0版本开始提供了一套API可以将使用Storm API编写的业务平滑迁移到Flink平台上，只需要极少的改动即可完成。通过这项转换可以覆盖大部分的业务场景。 Flink支持两种方式的业务迁移： 完整迁移Storm业务：转换并运行完整的由Storm
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
