检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS作业类型介绍 MRS作业分类 MRS作业是MRS为用户提供的程序执行平台，用于处理和分析用户数据。用户可以在MRS管理控制台中在线创建作业任务，也可以通过集群客户端后台方式提交作业。 MRS作业处理的数据通常来源于OBS或HDFS，用户创建作业前需要将待分析数据上传至OBS系统
分析集群：用来做离线数据分析，提供Hadoop体系的组件。 流式集群：用来做流处理任务，提供流式处理组件。 混合集群：既可以用来做离线数据分析，又可以用来做流处理任务，提供Hadoop体系的组件和流式处理组件。 自定义：根据业务需求，可以灵活搭配所需组件（MRS 3.x及后续版本）。
iotdb-jdbc-example IoTDB JDBC处理数据Java示例程序。 本示例演示了如何使用JDBC接口连接IoTDB，并执行IoTDB SQL语句。 iotdb-kafka-example 通过Kafka访问IoTDB数据的示例程序。 本示例演示了如何先将时序数据发送到Kafka，再使用多线程将数据写入到IoTDB中。
当需要提升Storm数据量处理性能时，可以通过拓扑调优的操作提高效率。建议在可靠性要求不高的场景下进行优化。 表1 调优参数 配置参数 默认值 调优场景 topology.acker.executors null Acker的执行器数量。当业务应用对可靠性要求较低，允许不处理部分数据，可设置
志。如果需要查询拓扑在运行时数据处理的日志，提交拓扑并启用“Debug”功能后可以查看日志。仅启用Kerberos认证的流集群支持该场景，且用户需要是拓扑的提交者，或者加入“stormadmin”。 前提条件 在工作环境完成网络配置。 需要查看处理数据的拓扑，提交时已启用采样功能。
在大部分场景下，有大表两表join以及多表join的场景，且多个join的表数据变化更新频率较低，这种情况，建议对多个表join查询逻辑提前进行加工处理，将处理后的数据写入到一个宽表中，宽表中包含所有要查询的数据字段，以供后续应用完全自助OLAP的高性能查询。 表命名规范 数据库表名称命名规则：
集群添加组件，仅MRS 3.1.2及之后普通版本和MRS 3.1.2-LTS.2及之后的LTS版本的自定义集群支持添加组件功能。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/components 表1 路径参数
iotdb-jdbc-example IoTDB JDBC处理数据Java示例程序。 本示例演示了如何使用JDBC接口连接IoTDB，并执行IoTDB SQL语句。 iotdb-kafka-example 通过Kafka访问IoTDB数据的示例程序。 本示例演示了如何先将时序数据发送到Kafka，再使用多线程将数据写入到IoTDB中。
一般在迁移没有正常执行完成时用来清理ZooKeeper上的中间状态信息。 Kafka集群IP端口号安全模式下是21007，普通模式下是9092。 异常情况处理 在使用Kafka均衡工具进行Partition迁移的过程中，如果出现集群中Broker故障导致均衡工具的执行进度阻塞，这时需要人工介入来恢复，分为以下几种场景：
个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上TB级别的数据集。 一个MapReduce作业（application/job）通常会把输入的数据集切分为若干独立的数据块，由map任务（task）以完全并行的方式来处理。框架会对map的输出先进行排序，然后把结果输入给r
个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（application/job）通常会把输入的数据集切分为若干独立的数据块，由map任务（task）以完全并行的方式来处理。框架会对map的输出先进行排序，然后把结果输入给re
个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（application/job）通常会把输入的数据集切分为若干独立的数据块，由map任务（task）以完全并行的方式来处理。框架会对map的输出先进行排序，然后把结果输入给re
一般在迁移没有正常执行完成时用来清理ZooKeeper上的中间状态信息。 Kafka集群IP端口号安全模式下是21007，普通模式下是9092。 异常情况处理 在使用Kafka均衡工具进行Partition迁移的过程中，如果出现集群中Broker故障导致均衡工具的执行进度阻塞，这时需要人工介入来恢复，分为以下几种场景：
参数解释： 单个引导操作脚本的运行状态。 约束限制： 不涉及 取值范围： PENDING：挂起 IN_PROGRESS：正在处理 SUCCESS：处理成功 FAILURE：处理失败 默认取值： 不涉及 action_stages Array of strings 参数解释： 选择引导操作脚本执行的时间。
该样例工程提供以下JDBC/HCatalog样例程序： Hive JDBC处理数据Java示例程序。 本工程使用JDBC接口连接Hive，在Hive中执行相关数据操作。使用JDBC接口实现创建表、加载数据、查询数据等功能。 Hive HCatalog处理数据Java示例程序。 使用HCatalog接口实现通过Hive命令行方式对MRS
配置MRS集群远程运维 当用户使用集群过程中出现问题需要华为云支持人员协助解决时，用户可先联系华为云支持人员，再通过运维授权功能授权华为云支持人员访问用户机器的权限用于定位问题，或通过“日志共享”功能提供特定时间段内的日志给华为云支持人员以便定位问题。 开启MRS集群远程运维授权 登录MRS管理控制台。
以便每个节点都有任务处理。 原则三：每个task的执行时间要合理。 如果一个job，每个map或reduce的执行时间只有几秒钟，就意味着这个job的大部分时间都消耗在task的调度和进程启停阶段，因此需要增加每个task处理的数据大小。建议一个task处理时间为1分钟。 控制单
个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（application/job）通常会把输入的数据集切分为若干独立的数据块，由map任务（task）以完全并行的方式来处理。框架会对map的输出先进行排序，然后把结果输入给re
参数解释： 单个引导操作脚本的运行状态。 约束限制： 不涉及 取值范围： PENDING：挂起 IN_PROGRESS：正在处理 SUCCESS：处理成功 FAILURE：处理失败 默认取值： 不涉及 action_stages Array of strings 参数解释： 选择引导操作脚本执行的时间。
在MRS服务中可以配合Jupyter Notebook使用PySpark，能够提高机器学习、数据探索和ETL应用开发效率。 本实践指导用户如何在MRS集群中配置Jupyter Notebook来使用Pyspark。 方案架构 Spark的应用运行架构如图1所示，运行流程如下所示：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
