检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Streaming作为一种mini-batch方式的流式处理框架，它主要的特点是：秒级时延和高吞吐量。因此Streaming调优的目标：在秒级延迟的情景下，提高Streaming的吞吐能力，在单位时间处理尽可能多的数据。 本章节适用于输入数据源为Kafka的使用场景。 操作步骤 一个简单的流处理系统由以下三部分组件组成：数据源
下的其他子网，实现可用子网IP的扩充。切换子网不会影响当前已有节点的IP地址和子网。 通过子网提供与其他网络隔离的、可以独享的网络资源，以提高网络安全。 虚拟私有云 VPC信息，创建集群时所选。 VPC即虚拟私有云，是通过逻辑方式进行网络隔离，提供安全、隔离的网络环境。 弹性公网IP
适用于 数据加载 场景描述 数据加载过程中，设置处理数据使用的CPU core数量。 如何调优 如果有更多的CPU个数，那么可以增加CPU值来提高性能。例如，将该参数值从2增加到4，那么CSV文件读取性能可以增加大约1倍。 表4 是否使用YARN本地目录进行多磁盘数据加载 参数 carbon
YARN应用开发简介 简介 Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是
YARN应用开发简介 简介 Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是
Flume开源增强特性 Flume开源增强特性 提升传输速度。可以配置将指定的行数作为一个Event，而不仅是一行，提高了代码的执行效率以及减少写入磁盘的次数。 传输超大二进制文件。Flume根据当前内存情况，自动调整传输超大二进制文件的内存占用情况，不会导致Out of Memory（OOM）的出现。
YARN应用开发简介 简介 Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是
些总容量小），会导致磁盘总容量小的节点先写满。通过修改集群默认的DataNode写数据时的磁盘选择策略为“节点磁盘可用空间块放置策略”，可提高将块数据写到磁盘可用空间较大节点的概率，解决因为数据节点磁盘容量不一致导致的节点使用率不均衡的情况。 对系统的影响 修改磁盘选择策略为“节点磁盘可用空间块放置策略（org
Streaming作为一种mini-batch方式的流式处理框架，它主要的特点是：秒级时延和高吞吐量。因此Streaming调优的目标：在秒级延迟的情景下，提高Streaming的吞吐能力，在单位时间处理尽可能多的数据。 本章节适用于输入数据源为Kafka的使用场景。 操作步骤 一个简单的流处理系统由以下三部分组件组成：数据源
些总容量小），会导致磁盘总容量小的节点先写满。通过修改集群默认的DataNode写数据时的磁盘选择策略为“节点磁盘可用空间块放置策略”，可提高将块数据写到磁盘可用空间较大节点的概率，解决因为数据节点磁盘容量不一致导致的节点使用率不均衡的情况。 对系统的影响 修改磁盘选择策略为“节点磁盘可用空间块放置策略（org
更新管理 密码更新 MRS支持集群内用户密码的更新，建议管理员定期修改密码，提高系统安全性。 密码更新指导如下所示： 修改系统用户密码：请参见修改admin密码和修改操作系统用户密码。 修改系统内部用户密码 修改默认数据库用户密码 证书更新 MRS集群的CA证书与HA证书均支持更
HBase容灾集群业务切换指导 操作场景 MRS集群管理员可配置HBase集群容灾功能，以提高系统可用性。容灾环境中的主集群完全故障影响HBase上层应用连接时，需要为HBase上层应用配置备集群信息，才可以使得该应用在备集群上运行。 本章节适用于MRS 3.x及之后版本。 对系统的影响
一般来说，大任务的SQL语句（例如在从整个表中扫描大量数据的情况）会占用大量的资源，在资源紧张的情况下，会影响其他任务的负载。这不仅导致用户体验不佳，也会提高运维成本。为了解决上述问题，HetuEngine提供了自适应查询执行的功能，该功能会自适应地调度执行查询。 本章节介绍如何开启自适应查询执行功能。
当将此列用于AND或OR查询筛选时，使用索引可以提高查询性能。 例如，Filter_Condition（IndexCol1）AND / OR Filter_Condition（IndexCol2）。 当在查询中使用“索引列”和“非索引列”进行过滤时，此索引可以提高查询性能。 例如，Filter_
提供认证能力。 安全模式 安全模式的集群统一使用Kerberos认证协议进行安全认证。Kerberos协议支持客户端与服务端进行相互认证，提高了安全性，可有效消除使用网络发送用户凭据进行模拟认证的安全风险。集群中由KrbServer服务提供Kerberos认证支持。 Kerberos用户对象
HBase读数据性能。 表1 影响实时读数据配置项 配置参数 描述 默认值 GC_OPTS HBase利用内存完成读写操作。提高HBase内存可以有效提高HBase性能。 “GC_OPTS”主要需要调整HeapSize的大小和NewSize的大小。调整HeapSize大小的时候，
适用于 数据加载 场景描述 数据加载过程中，设置处理数据使用的CPU core数量。 如何调优 如果有更多的CPU个数，那么可以增加CPU值来提高性能。例如，将该参数值从2增加到4，那么CSV文件读取性能可以增加大约1倍。 表4 是否使用YARN本地目录进行多磁盘数据加载 参数 carbon
Streaming作为一种mini-batch方式的流式处理框架，它主要的特点是秒级时延和高吞吐量。因此Streaming调优的目标是在秒级延迟的情景下，提高Streaming的吞吐能力，在单位时间处理尽可能多的数据。 本章节适用于输入数据源为Kafka的使用场景。 操作步骤 一个简单的流处理系统由以下三部分组件组成：数据源
Spark yarn-client模式下如何修改日志级别为INFO 问题 Spark yarn-client模式下如何修改日志级别为INFO？ 回答 登录Spark客户端节点，修改“{客户端安装目录}Spark/spark/conf/log4j.properties”配置文件，修改参数“Log4j
请根据以下业务场景对可靠性和性能要求进行评估，采用合理参数配置。 对于价值数据，这两种场景下建议Kafka数据目录磁盘配置raid1或者raid5，从而提高单个磁盘故障情况下数据可靠性。 参数配置项均为Topic级别可修改的参数，默认采用服务级配置。 可针对不同Topic可靠性要求对Topic
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
