检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
与其他云服务的关系 MRS服务与周边其他云服务的关系如图1所示。 图1 MRS与其他云服务的关系图 MRS服务与其他云服务的关系 表1 MRS服务与其他云服务的关系 服务名称 MRS服务与其他服务的关系 主要交互功能 虚拟私有云（Virtual Private Cloud） MR
已获取账号AK和SK，详情请参考：如何获取访问密钥AK/SK。 操作步骤 在MRS主机上安装ICAgent，详情请参考：安装ICAgent（华为云主机）。 首次安装先安装一台服务器，然后按照继承批量安装的方式安装其他所有主机。 创建主机组，把1中已安装的ICAgent的主机加到主机组里面。 在云日志服务管理控制台，单
Kafka与其他组件的关系 Kafka作为一个消息发布-订阅系统，为整个大数据平台多个子系统之间数据的传递提供了高速数据流转方式。 Kafka可以实时接受来自外部的消息，并提供给在线以及离线业务进行处理。 Kafka与其他组件的具体的关系如下图所示： 图1 与其他组件关系 父主题：
Storm与其他组件的关系 Storm，提供实时的分布式计算框架，它可以从数据源（如Kafka、TCP连接等）中获得实时消息数据，在实时平台上完成高吞吐、低延迟的实时计算，并将结果输出到消息队列或者进行持久化。Storm与其他组件的关系如图1所示： 图1 组件关系图 Storm和Streaming的关系
Spark连接其他服务认证问题 问题现象 Spark连接HBase，报认证失败或者连接不到HBase表。 Spark连接HBase报找不到jar包。 原因分析 问题1：HBase没有获取到当前任务的认证信息，导致连接HBase的时候认证失败，无法读取到相应数据。 问题2：Spar
Doris与其他组件的关系 Doris与HDFS组件的关系 Doris支持导入和导出HDFS数据，并且支持直接查询HDFS数据源。 Doris与Hudi组件的关系 Doris支持直接查询Hudi数据源。 Doris与Spark组件的关系 使用Spark Doris Connect
MemArtsCC与其他组件的关系 MemArtsCC与OBS的关系 Hadoop-OBS提供一种新的InputStream：OBSMemArtsCCInputStream，该InputStream从部署在计算侧上的MemArts集群读取数据，从而减少OBS服务端压力，提升数据读取性能的目标。
HetuEngine与其他组件的关系 HetuEngine安装依赖MRS集群，其中直接依赖的组件如表1所示。 表1 HetuEngine依赖的组件 名称 描述 HDFS Hadoop分布式文件系统（Hadoop Distributed File System），提供高吞吐量的数据访问，适合大规模数据集方面的应用。
Hue与其他组件的关系 Hue与Hadoop集群的关系 Hue与Hadoop集群的交互关系如图1所示。 图1 Hue与Hadoop集群 表1 Hue与其它组件的关系 名称 描述 HDFS HDFS提供REST接口与Hue交互，用于查询、操作HDFS文件。 在Hue把用户请求从用户
HBase与其他组件的关系 HBase和HDFS的关系 HDFS是Apache的Hadoop项目的子项目，HBase利用Hadoop HDFS作为其文件存储系统。HBase位于结构化存储层，Hadoop HDFS为HBase提供了高可靠性的底层存储支持。除了HBase产生的一些日
Flink与其他组件的关系 Flink与Yarn的关系 Flink支持基于Yarn管理的集群模式，在该模式下，Flink作为Yarn上的一个应用，提交到Yarn上执行。 Flink基于Yarn的集群部署如图1所示。 图1 Flink基于Yarn的集群部署 Flink Yarn C
Hive与其他组件的关系 Hive与HDFS组件的关系 Hive是Apache的Hadoop项目的子项目，Hive利用HDFS作为其文件存储系统。Hive通过解析和计算处理结构化的数据，Hadoop HDFS则为Hive提供了高可靠性的底层存储支持。Hive数据库中的所有数据文件都可以存储在Hadoop
HDFS与其他组件的关系 HDFS和HBase的关系 HDFS是Apache的Hadoop项目的子项目，HBase利用Hadoop HDFS作为其文件存储系统。HBase位于结构化存储层，Hadoop HDFS为HBase提供了高可靠性的底层存储支持。除了HBase产生的一些日志
Spark与其他组件的关系 Spark和HDFS的关系 通常，Spark中计算的数据可以来自多个数据源，如Local File、HDFS等。最常用的是HDFS，用户可以一次读取大规模的数据进行并行计算。在计算完成后，也可以将数据存储到HDFS。 分解来看，Spark分成控制端(D
Yarn与其他组件的关系 Yarn和Spark组件的关系 Spark的计算调度方式，可以通过Yarn的模式实现。Spark共享Yarn集群提供丰富的计算资源，将任务分布式的运行起来。Spark on Yarn分两种模式：Yarn Cluster和Yarn Client。 Yarn
属存储资源。 主机安全 MRS支持与公有云安全服务集成，支持漏洞扫描、安全防护、应用防火墙、堡垒机、网页防篡改等。针对操作系统和端口部分，华为云提供如下安全措施： 操作系统内核安全加固 操作系统权限控制 操作系统端口管理 应用安全 通过如下措施保证大数据业务正常运行： 身份鉴别和认证
Loader与其他组件的关系 与Loader有交互关系的组件有HDFS、HBase、Hive、Yarn、Mapreduce和ZooKeeper等。 Loader作为客户端使用这些组件的某些功能，如存储数据到HDFS和HBase，从HDFS和HBase表读数据，同时Loader本身
ZooKeeper与其他组件的关系 ZooKeeper和HDFS的关系 ZooKeeper与HDFS的关系如图1所示。 图1 ZooKeeper和HDFS的关系 ZKFC（ZKFailoverController）作为一个ZooKeeper集群的客户端，用来监控NameNode的
Flume与其他组件的关系 Flume与HDFS的关系 当用户配置HDFS作为Flume的Sink时，HDFS就作为Flume的最终数据存储系统，Flume将传输的数据全部按照配置写入HDFS中。 具体操作场景请参见典型场景：从本地采集静态日志保存到HDFS和典型场景：从本地采集动态日志保存到HDFS。
Ranger与其他组件的关系 Ranger为组件提供基于PBAC的鉴权插件，供组件服务端运行，目前支持Ranger鉴权的组件有HDFS、Yarn、Hive、HBase、Kafka、Storm和Spark等，后续会支持更多组件。 Ranger为各组件提供了基于PBAC（Policy-Based
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
