检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
因此，MRS提供了自定义引导操作，在启动集群组件前（或后）可以在指定的节点上执行脚本。用户可以通过引导操作来完成安装MRS还没支持的第三方软件，修改集群运行环境等自定义操作。如果集群扩容，选择执行引导操作，则引导操作也会以相同方式在新增节点上执行。MRS会使用root用户执行用户指定的脚本，脚本内部可以通过su
用JDBC接口实现创建表、加载数据、查询数据等功能，还可实现在同一个客户端进程内同时访问FusionInsight ZooKeeper和第三方的ZooKeeper，相关样例介绍请参见Hive JDBC访问样例程序。 hive-examples/hcatalog-example Hive
MRS组件应用开发简介 MRS是企业级大数据存储、查询、分析的统一平台，能够帮助企业快速构建海量数据信息处理系统，通过对海量信息数据的分析挖掘，发现全新价值点和企业商机。 MRS提供了各组件的常见业务场景样例程序，开发者用户可基于样例工程进行相关数据应用的开发与编译，样例工程依赖
来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 告警长期存在时，会导致Manager频繁主备倒换，用户无法正常登录FusionInsight Manager平台，无法进行正常运维操作。 cep进
来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 告警长期存在时，会导致Manager频繁主备倒换，用户无法正常登录FusionInsight Manager平台，无法进行正常运维操作。 fms进
告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 NodeAgent代理进程异常，无法上报心跳至平台。如果因为网络、硬件故障或ssh互信造成，则组件业务无法保证正常。
通过弹性公网IP访问集群Web站点 消息通知 配置消息通知后，可以实时给用户发送MRS集群健康状态，用户可以通过手机短信或邮箱实时接收到MRS集群变更及组件告警信息。MRS可以帮助用户轻松运维，实时监控，实时发送告警，操作灵活，大数据业务部署更加省心省力。 消息通知 告警管理 MRS
Storm与其他组件的关系 Storm，提供实时的分布式计算框架，它可以从数据源（如Kafka、TCP连接等）中获得实时消息数据，在实时平台上完成高吞吐、低延迟的实时计算，并将结果输出到消息队列或者进行持久化。Storm与其他组件的关系如图1所示： 图1 组件关系图 Storm和Streaming的关系
Hive常用配置参数 Hive是建立在Hadoop上的数据仓库框架，提供大数据平台批处理计算能力，能够对结构化/半结构化数据进行批量分析汇总完成数据计算。 本章节主要介绍Hive常用参数。 操作步骤 登录FusionInsight Manager，选择“集群 > 服务 > Hive
“系统资源调整基数”表示集群中每个节点可以被集群服务使用的最大资源。如果节点只有一个服务，则表示此服务独占节点可用资源。如果节点有多个服务，则表示所有服务共同使用节点可用资源。 “CPU”表示节点中服务可使用的最大CPU。 “Memory”表示节点中服务可使用的最大内存。 在图表区域，查看集群服务资源使用状态指标数据图表。
rce、Channel、Sink模块，即一个Source将数据发送给多个Channel，再由多个Sink发送到下一个Agent或目的地。 Flume支持多个Flume配置级联，即上一个Agent的Sink将数据再发送给另一个Agent的Source。 补充说明 Flume可靠性保障措施。
<activeProfile>huaweicloudsdk</activeProfile> 华为开源镜像站不提供第三方开源jar包下载，请配置开源镜像后，额外配置第三方Maven镜像仓库地址。 使用IntelliJ IDEA开发工具时，可单击“File > Settings > Build
node）执行。一个拓扑中包括spout和bolt两种角色，其中spout发送消息，负责将数据流以tuple元组的形式发送出去；而bolt则负责转换这些数据流，在bolt中可以完成计算、过滤等操作，bolt自身也可以随机将数据发送给其他bolt。由spout发射出的tuple是不可变数组，对应着固定的键值对。
MRS作业类型介绍 MRS作业分类 MRS作业是MRS为用户提供的程序执行平台，用于处理和分析用户数据。用户可以在MRS管理控制台中在线创建作业任务，也可以通过集群客户端后台方式提交作业。 MRS作业处理的数据通常来源于OBS或HDFS，用户创建作业前需要将待分析数据上传至OBS
Producer偶现发送数据失败，日志提示“Too many open files in system” 问题背景与现象 在使用Producer向Kafka发送数据功能时，发现客户端发送失败。 图1 Producer发送数据失败 可能原因 Kafka服务异常。 网络异常。 Kafka
Kudu应用开发简介 Kudu简介 Kudu是专为Apache Hadoop平台开发的列式存储管理器，具有Hadoop生态系统应用程序的共同技术特性：在通用的商用硬件上运行，可水平扩展，提供高可用性。 Kudu的设计具有以下优点： 能够快速处理OLAP工作负载。 支持与MapRe
量INSERT即可。 第三方引擎的表 退服目前不支持第三方引擎的表自动迁移。 使用如下命令收集各节点数据表，查看engine列，除包含MergeTree、View、MaterializedView、Distributed、Log字段外的其他数据表即为第三方引擎的表，如Memory、HDFS、MySQL等：
节省硬件存储成本。 CarbonData索引缓存服务器 为了解决日益增长的数据量给driver带来的压力与出现的各种问题，现引入单独的索引缓存服务器，将索引从Carbon查询的Spark应用侧剥离。所有的索引内容全部由索引缓存服务器管理，Spark应用通过RPC方式获取需要的索引
Kafka与其他组件的关系 Kafka作为一个消息发布-订阅系统，为整个大数据平台多个子系统之间数据的传递提供了高速数据流转方式。 Kafka可以实时接受来自外部的消息，并提供给在线以及离线业务进行处理。 Kafka与其他组件的具体的关系如下图所示： 图1 与其他组件关系 父主题：
集群客户端配置文件获取方法： 登录FusionInsight Manager，选择“集群 > 概览”。 选择“更多 > 下载客户端 > 仅配置文件”，选择平台类型后单击“确定”。 用户凭据获取方法： 登录FusionInsight Manager，单击“系统”。 在对应用户的“操作”列，选择“更多
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
