检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MapReduce访问多组件样例代码 功能介绍 主要分为三个部分： 从HDFS原文件中抽取name信息，查询HBase、Hive相关数据，并进行数据拼接，通过类MultiComponentMapper继承Mapper抽象类实现。 获取拼接后的数据取最后一条输出到HBase、HDFS
通过Spark Streaming作业消费Kafka数据 应用场景 本文介绍如何使用MRS集群运行Spark Streaming作业以消费Kafka数据。 假定某个业务Kafka每1秒就会收到1个单词记录。基于业务需要，开发的Spark应用程序实现实时累加计算每个单词的记录总数的功能
Flink作业RocksDB状态后端调优 本章节适用于MRS 3.3.0及以后版本。 Flink作业RocksDB介绍 当启用RocksDB作为作业的状态后端时，大量的状态数据会导致RocksDB的读写性能差。可通过如下方法排查算子性能是否受RocksDB影响： 在TaskManager
MapReduce访问多组件样例代码 功能介绍 主要分为三个部分： 从HDFS原文件中抽取name信息，查询HBase、Hive相关数据，并进行数据拼接，通过类MultiComponentMapper继承Mapper抽象类实现。 获取拼接后的数据取最后一条输出到HBase、HDFS
查询单个作业信息 功能介绍 在MRS集群中查询指定作业的详细信息。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/job-executions/{job_execution_id} 表1
编译并调测Flink应用 操作场景 在程序代码完成开发后，建议您上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Flink客户端的运行步骤是一样的。 基于YARN集群的Flink应用程序不支持在Windows环境下运行，只支持在Linux环境下运行
如何配置HBase双读功能 操作场景 HBase客户端应用通过自定义加载主备集群配置项，实现了双读能力。HBase双读作为提高HBase集群系统高可用性的一个关键特性，适用于使用Get读取数据、使用批量Get读取数据、使用Scan读取数据，以及基于二级索引查询。它能够同时读取主备集群数据
如何配置HBase双读功能 操作场景 HBase客户端应用通过自定义加载主备集群配置项，实现了双读能力。HBase双读作为提高HBase集群系统高可用性的一个关键特性，适用于使用Get读取数据、使用批量Get读取数据、使用Scan读取数据，以及基于二级索引查询。它能够同时读取主备集群数据
loader-tool工具使用指导 概述 loader-tool工具是Loader客户端工具之一，包括“lt-ucc”、“lt-ucj”、“lt-ctl”三个工具。 Loader支持通过参数选项或作业模板这两种方式，对连接器进行创建、更新、查询和删除，以及对Loader作业进行创建
loader-tool工具使用指导 概述 loader-tool工具是Loader客户端工具之一，包括“lt-ucc”、“lt-ucj”、“lt-ctl”三个工具。 Loader支持通过参数选项或作业模板这两种方式，对连接器进行创建、更新、查询和删除，以及对Loader作业进行创建
创建集群 功能介绍 创建一个MRS集群。使用接口前，您需要先获取下的资源信息。 通过VPC创建或查询VPC、子网。 通过ECS创建或查询密钥对。 通过终端节点获取区域信息。 参考MRS服务支持的组件获取MRS版本及对应版本支持的组件信息。 接口约束 无 调用方法 请参见如何调用API
Flink SQL逻辑开发建议 在aggregate和join等操作前将数据过滤来减少计算的数据量 提前过滤可以减少在shuffle阶段前的数据量，减少网络IO，从而提升查询效率。 比如在表join前先过滤数据比在ON和WHERE时过滤可以有效较少join数据量。因为执行顺序从发生
新增并执行作业 功能介绍 在MRS集群中新增并提交一个作业。 需要先在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步，然后再通过该接口提交作业。 如需使用OBS加密功能，请先参考“MRS用户指南 > 管理现有集群 > 作业管理 > 使用OBS加密数据运行作业
编译并调测Flink应用 操作场景 在程序代码完成开发后，编译jar包并上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Flink客户端的运行步骤是相同的。 基于YARN集群的Flink应用程序不支持在Windows环境下运行，只支持在Linux环境下运行
缩容集群 功能介绍 对MRS集群进行缩容。 用户可以根据业务需求量，通过缩减指定节点组内节点，对集群进行缩容，以使MRS拥有更优的存储、计算能力，降低运维成本。 当集群正在进行主备同步操作时，不允许进行缩容操作。 调用方法 请参见如何调用API。 URI POST /v2/{project_id
CarbonData常见配置参数 本章节介绍CarbonData所有常用参数配置的详细信息。 carbon.properties相关参数 根据用户实际使用场景在服务端或者客户端配置CarbonData相关参数。 服务端：登录FusionInsight Manager页面，选择“集群
CarbonData常见配置参数 本章节介绍CarbonData所有配置的详细信息。 carbon.properties相关参数 根据用户实际使用场景在服务端或者客户端配置CarbonData相关参数。 服务端：登录FusionInsight Manager页面，选择“集群 > 服务
约束与限制 使用MRS前，您需要认真阅读并了解以下使用限制。 MRS集群创建限制 表1 MRS集群创建约束说明 限制项 说明 网络要求 MRS集群必须创建在VPC子网内。 创建MRS集群时，支持自动创建安全组，也可选择已有的安全组。 MRS集群使用的安全组请勿随意放开权限，避免被恶意访问
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
