检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据平均分布后，保证了查询的高度并行性，以提升数据的查询性能。 从纵向来看，每个shard内部有多个副本组成，保证分片数据的高可靠性，以及计算的高可靠性。 数据分布设计 Shard数据分片均匀分布 建议用户的数据均匀分布到集群中的多个shard分片，如图1所示有3个分片。 假如有30
在“入方向规则”页签，选择“添加规则”，在“添加入方向规则”窗口配置Windows的IP和21730TCP、21731TCP/UDP、21732TCP/UDP端口。 在Manager界面选择“集群 > 服务 > Spark2x > 更多 > 下载客户端”，将客户端中的core-site
管理安全组规则”。 在“入方向规则”页签，选择“添加规则”，在“添加入方向规则”配置Windows的IP和21730TCP、21731TCP/UDP、21732TCP/UDP端口。 在Manager界面选择“集群 > 服务 > HDFS > 更多 > 下载客户端”，将客户端中的core-site.xml和hdfs-site
在“入方向规则”页签，选择“添加规则”，在“添加入方向规则”窗口配置Windows的IP和21730TCP、21731TCP/UDP、21732TCP/UDP端口。 。 在Manager界面选择“集群 > 服务 > HDFS > 更多 > 下载客户端”，将客户端中的core-site
HBase服务的数据节点较多，需要根据不同的业务规模将数据节点资源分配给特定的业务，从而达到资源独占使用的目的。当AZ容灾特性被开启时，为了保证AZ容灾生效，保障业务可靠性，在为RSGroup分配RegionServer时，需遵循分配结果能使该RSGroup在每个AZ下都存在RegionServer实例的规则。
me/test”目录下。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。 前提条件 已安装Flume客户端。 已成功安装集群，包含HDFS、Kafka及Flume服务。
Storm应用开发简介 简介 Storm是一个分布式的、可靠的、容错的数据流处理系统。它会把工作任务委托给不同类型的组件，每个组件负责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理，可以可靠地处理无限的数据流。 Storm有很多适用的场景：实时分析、在线机器学
Java开发经验的开发人员。 简介 Storm是一个分布式的、可靠的、容错的数据流处理系统。它会把工作任务委托给不同类型的组件，每个组件负责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理，可以可靠地处理无限的数据流。 Storm有很多适用的场景：实时分析、在线
t1)采集日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。 前提条件 已安装Flume客户端。 已成功安装集群，包含HDFS、Kafka及Flume服务。
数据传输安全性 在MRS集群中，Web通道访问支持HTTPS加密；RPC通信支持SASL认证，并可配置对称密钥的方式进行加密。 组件级别的传输加密配置如下所示： HDFS配置传输加密：请参见配置HDFS数据传输加密。 Kafka配置传输加密：请参见配置Kafka数据传输加密。
4版本之前，ResourceManager在YARN集群中存在单点故障的问题。YARN高可用性方案通过引入冗余的ResourceManager节点的方式，解决了这个基础服务的可靠性和容错性问题。 图1 ResourceManager高可用性实现架构 ResourceManager的高可用性方案是通过设置一组Acti
HBase服务的数据节点较多，需要根据不同的业务规模将数据节点资源分配给特定的业务，从而达到资源独占使用的目的。当AZ容灾特性被开启时，为了保证AZ容灾生效，保障业务可靠性，在为RSGroup分配RegionServer时，需遵循分配结果能使该RSGroup在每个AZ下都存在RegionServer实例的规则。
使用ZooKeeper客户端 ZooKeeper是一个开源的，高可靠的，分布式一致性协调服务。ZooKeeper设计目标是用来解决那些复杂，易出错的分布式系统难以保证数据一致性的。不必开发专门的协同应用，十分适合高可用服务保持数据一致性。 背景信息 在使用客户端前，除主管理节点以
当需要提升Storm数据量处理性能时，可以通过拓扑调优的操作提高效率。建议在可靠性要求不高的场景下进行优化。 表1 调优参数 配置参数 默认值 调优场景 topology.acker.executors null Acker的执行器数量。当业务应用对可靠性要求较低，允许不处理部分数据，可设置参数值为“nu
在“入方向规则”页签，选择“添加规则”，在“添加入方向规则”窗口配置Windows的IP和21007、21730TCP、21731TCP/UDP、21732TCP/UDP端口。 图3 添加入方向规则 在Manager界面选择“集群 > 服务 > Kafka > 配置 > 全部配置”，搜索“kafka
ZooKeeper基本原理 ZooKeeper简介 ZooKeeper是一个分布式、高可用性的协调服务。在大数据产品中主要提供两个功能： 帮助系统避免单点故障，建立可靠的应用程序。 提供分布式协作服务和维护配置信息。 ZooKeeper结构 ZooKeeper集群中的节点分为三种角色：Leader、Fol
在“入方向规则”页签，选择“添加规则”，在“添加入方向规则”窗口配置Windows的IP和21007、21730TCP、21731TCP/UDP、21732TCP/UDP端口。 图3 添加入方向规则 在Manager界面选择“集群 > 服务 > Kafka > 配置 > 全部配置”，搜索“kafka
hsync hbase.hfile.hsync 当提升性能时，缺点是对于DataNode（默认是3个）同时故障时，存在小概率数据丢失的现象。对数据可靠性要求高的场景请慎重配置。 操作步骤 参数入口： 在FusionInsight Manager系统中，选择“集群 > 服务 > HBase
ALM-12057 元数据未配置周期备份到第三方服务器的任务 告警解释 系统安装完成后会检查元数据是否有周期备份到第三方服务器的任务，然后每1小时会检查一次。如果元数据未配置周期备份到第三方服务器的任务，将发送重要告警。 在用户创建元数据周期备份到第三方服务器的任务后，告警消除。
登录MRS集群节点 本章节介绍如何使用弹性云服务器管理控制台上提供的远程登录（VNC方式）和如何使用密钥或密码方式（SSH方式）登录MRS集群中的节点，远程登录主要用于紧急运维场景，远程登录弹性云服务器进行相关维护操作。其他场景下，建议用户采用SSH方式登录。 如果需要使用SSH
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
