检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
toLong)) //配置Streaming的CheckPoint目录。 //由于窗口概念的存在，此参数是必需的。 ssc.checkpoint(checkPointDir) //获取获取kafka使用的topic列表。 val topicArr
Task节点的实例规格，例如：{ECS_FLAVOR_NAME}.linux.bigdata，{ECS_FLAVOR_NAME}可以为c3.4xlare.2等在MRS购买页可见的云服务器规格。实例规格详细说明请参见MRS所使用的弹性云服务器规格和MRS所使用的裸金属服务器规格。该参
指定获取访问OBS文件系统密钥的实现方式。 参数取值： com.huawei.mrs.MrsObsCredentialsProvider：通过MRS云服务委托获取凭证。 com.obs.services.EcsObsCredentialsProvider：通过ECS云服务获取AK/SK信息。
指定获取访问OBS文件系统密钥的实现方式。 参数取值： com.huawei.mrs.MrsObsCredentialsProvider：通过MRS云服务委托获取凭证。 com.obs.services.EcsObsCredentialsProvider：通过ECS云服务获取AK/SK信息。
将准备应用开发配置文件中获取的集群配置文件及用户认证文件放置在样例工程的“conf”目录下。 在HDFS样例工程代码中，不同的样例工程，使用的认证代码不同，包括基本安全认证和带ZooKeeper认证。 本示例中，不需要访问HBase或ZooKeeper，所以使用基本的安全认证代码即可。 在“com
务自研组件，提供长期的支持和演进。 普通版：主要依托开源组件的能力，融入了MRS服务自研、成熟稳定的特性和功能，带来性能及稳定性的提升。 LTS版 集群版本 MRS集群的版本，不同版本所包含的开源组件版本及功能特性可能不同，推荐选择最新版本。 版本详细包含的组件详细可参考MRS组件版本一览表。
HBase应用开发常用概念 过滤器 过滤器提供了非常强大的特性来帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器，而且可以实现自定义的过滤器。 协处理器 允许用户执行region级的操作，并且可以使用与RDBMS中触发器类似的功能。 Client
在“分布”页签，可查看集群的资源分布监控，默认显示1小时的监控数据。用户可单击自定义时间区间。 图1 资源分布概况 单击“选择指标”可以自定义所需查看的指标项。选择指标后，页面会显示在各个区间的主机分布图。 鼠标停留在某个色块时，会显示处于当前区间的主机数量。单击色块，页面会显示处于当前区间的主机列表。
1.0.8补丁安装后，需要重新下载安装全量的客户端，包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端（即您自行搭建的客户端）。 主备Master节点的原始客户端全量更新，请参见更新客户端配置（2.x及之前版本）。 自行搭建的客户端全量安装方法，请参见安装客户端（2
过滤器提供了非常强大的特性来帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器，而且可以实现自定义的过滤器。 协处理器 允许用户执行region级的操作，并且可以使用与RDBMS中触发器类似的功能。 keytab文件 存放用户信息的密钥文件。在安全
1.9.3.10及之后的补丁版本 重要：其他MRS 2.x及之前版本 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 磁盘名 产生告警的磁盘名。 对系统的影响 磁盘慢盘故障，
Schedule”修改作业的名称。 单击“选择Workflow...”选择需要编排的Workflow。 选择好Workflow，根据界面提示设置作业执行的频率，如果执行的Workflow需要传递参数，可单击“+添加参数”设置参数，然后单击右上角的保存作业。 因时区转化的原因，此处时间有可
默认配置为true，表示只向其中的一个副本写入数据（副本间通过复制表来完成同步，能保证数据的一致性）。 如果配置为false（不建议配置），表示向该分片的所有副本中写入相同的数据（副本间数据一致性不强，无法保证完全同步）。 macros标签 当前实例节点所在的分片和副本编号，可以用于区别不同的副本。 例
overwrite语法覆写分区表时，只支持对指定的分区表达式进行匹配，未指定表达式的分区将被全部删除。在spark2.3版本中，增加了对未指定表达式的分区动态匹配的支持，此种语法与Hive的动态分区匹配语法行为一致。 配置参数 登录FusionInsight Manager系统，选择“集群 > 待操作集群的名称 > 服务
增数据搬迁到目的端集群。一般每天更新的数据量在GB级别可以使用CDM的“整库迁移”指定时间段的方式进行HBase新增数据迁移。 当前使用CDM的“整库迁移”功能时的限制：如果源HBase集群中被删除操作的数据无法同步到目的端集群上。 场景迁移的HBase连接器不能与“整库迁移”共
在旧版本中，使用insert overwrite语法覆写分区表时，只支持对指定的分区表达式进行匹配，未指定表达式的分区将被全部删除。在spark2.3版本中，增加了对未指定表达式的分区动态匹配的支持，此种语法与Hive的动态分区匹配语法行为一致。 配置参数 登录FusionInsight Manager系统，选择“集群
Schedule”修改作业的名称。 单击“选择Workflow...”选择需要编排的Workflow。 选择好Workflow，根据界面提示设置作业执行的频率，如果执行的Workflow需要传递参数，可单击“+添加参数”设置参数，然后单击右上角的保存作业。 因时区转化的原因，此处时间有可
成集群的扩缩容，避免出现增加或减少资源的延后。 弹性伸缩规则与资源计划均可触发弹性伸缩，两者既可同时配置也可单独配置。资源计划与基于负载的弹性伸缩规则叠加使用可以使得集群节点的弹性更好，足以应对偶尔超出预期的数据峰值出现。 当某些业务场景要求在集群扩缩容之后，根据节点数量的变化对
文件压缩可以减少储存文件的空间，并且提高数据从磁盘读取和网络传输的速度。HDFS有Gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC（Lempel-Ziv Compression）提供配置方法。这种压缩格式增强了Hadoop压缩能力。有关Snappy的详细信息，请参阅http://code
不支持嵌套创建多个索引，索引表仅用于加速查询，不承担数据表功能。 不支持创建可以被已有索引覆盖的索引 新建索引时，如果之前已存在的索引能够完全覆盖新建的索引（即创建的索引是已有索引的子集），则无法创建此索引，重复功能的索引会造成存储浪费。例如，以下操作将无法创建索引2： 创建数据表：create 't1'
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
