检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Flume服务端从本地采集静态日志保存到HDFS 操作场景 该任务指导用户使用Flume服务端从本地采集静态日志保存到HDFS上“/flume/test”目录下。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使
图1 下载认证凭据 配置Flume角色服务端参数。 使用FusionInsight Manager界面中的Flume配置工具来配置Flume角色服务端参数并生成配置文件。 登录FusionInsight Manager，选择“集群 > 服务 > Flume > 配置工具”。 图2
使用Flume服务端从本地采集静态日志保存到HDFS 该任务指导用户使用Flume服务端从本地采集静态日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任
使用Flume服务端从本地采集动态日志保存到HDFS 该任务指导用户使用Flume服务端从本地采集动态日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任
(__ pc() <= s->code_end()) failed: overflowed buffer”，表示此问题是由JDK导致，需要如何解决？ 回答 修复步骤如下： 在RegionServer启动失败的某个节点执行 su - omm，切换到omm用户。 在omm用户下执行java
容量均衡的两个主要的使用原则，如表2所示。 表2 使用原则 编号 使用原则 说明 1 所有的数据节点在locators中出现的频率一样。 如何保证频率一样：假如数据节点有N个，则创建locators的数量应为N的整数倍（N个、2N个……）。 2 对于所有locators的使用需要
容量均衡的两个主要的使用原则，如表2所示。 表2 使用原则 编号 使用原则 说明 1 所有的数据节点在locators中出现的频率一样。 如何保证频率一样：假如数据节点有N个，则创建locators的数量应为N的整数倍（N个、2N个……）。 2 对于所有locators的使用需要
S集群的节点名称，在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 配置集群安全组规则。 在集群“概览”界面，选择“添加安全组规则
通过修改RegionServer配置参数进行读写性能调优。 操作步骤 登录FusionInsight Manager界面，选择“集群 > 服务 > HBase > 配置”，配置以下相关参数以提升HBase数据读写性能调优。 JVM GC参数 RegionServer “GC_OPTS”参数设置建议：
nnel和Sink，各模块配置参数说明可通过本节内容了解。 MRS 3.x及之后版本部分参数可通过Manager界面配置，选择“集群 > 服务 > Flume > 配置工具”，选择要使用的Source、Channel以及Sink，将其拖到右侧的操作界面中，双击对应的Source、
对系统的影响 更改DataNode角色的存储目录需要停止并重新启动HDFS服务，集群未完全启动前无法提供服务。 更改DataNode单个实例的存储目录需要停止并重新启动实例，该节点DataNode实例未启动前无法提供服务。 服务参数配置如果使用旧的存储目录，需要更新为新目录。 前提条件 在各
提交时的版本。一般情况下，应用程序（例如MapReduce、Hive、Tez等）需要进行完整的本地安装，将库安装至所有的集群机器（客户端及服务器端机器）中。当集群内开始进行滚动升级或降级时，本地安装的库的版本必然会在应用运行过程时发生改变。在滚动升级过程中，首先只会对少数Node
使用KafkaStreams统计数据 功能简介 以下提供High level KafkaStreams API代码样例及Low level KafkaStreams API代码样例，通过Kafka Streams读取输入Topic中的消息，统计每条消息中的单词个数，从输出Topi
同时，并且“-Xmx”与“XX:MaxPermSize”之和不得大于该节点服务器的实际物理内存值。 重启受影响的服务或实例，观察界面告警是否清除。 是，处理完毕。 否，执行6。 服务或实例重启过程中，Loader不再对外提供服务，无法提交作业，对正在运行的作业没有影响。 收集故障信息。 在FusionInsight
例如安装目录为“/opt/Flumeclient”。以下操作的客户端目录只是举例，请根据实际安装目录修改。 将Master1节点上的认证服务器配置文件，复制到安装Flume客户端的节点，保存到Flume客户端中“Flume客户端安装目录/fusioninsight-flume-
要求Compaction执行合并的过程必须和实时任务解耦，通过周期调度Spark任务来完成异步Compaction，这个方案的关键之处在于如何合理的设置这个周期，周期如果太短意味着Spark任务可能会空跑，周期如果太长可能会积压太多的Compaction Plan没有去执行而导致
HDFS HA方案介绍 HDFS HA方案背景 在Hadoop 2.0.0之前，HDFS集群中存在单点故障问题。由于每个集群只有一个NameNode，如果NameNode所在机器发生故障，将导致HDFS集群无法使用，除非NameNode重启或者在另一台机器上启动。这在两个方面影响了HDFS的整体可用性：
存放卷，默认情况下其中一个卷损坏，则DataNode将不再提供服务。配置项“dfs.datanode.failed.volumes.tolerated”可以指定失败的个数，小于该个数，DataNode可以继续提供服务。 “dfs.datanode.failed.volumes.t
方案。集群中支持同时共存多个JDBCServer服务，通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个JDBCServer服务停止工作，也不影响用户通过同一个客户端接口连接其他正常的JDBCServer服务。 多主实例模式相比主备模式的HA方案，优势主要体现在对以下两种场景的改进。
Spark开源增强特性 跨源复杂数据的SQL查询优化 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、数据仓库等，此时会面临以下困境：数据源种类繁多，数据集结构化混合，相关数据存放分散等，这就导致了跨源复杂查询因传输效率低，耗时长。 当前开源Spark
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
