检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
典型场景：从SFTP服务器导入数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从SFTP服务器导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取S
启用Yarn CGroups功能限制Container CPU使用率 配置场景 CGroups是一个Linux内核特性。它可以将任务集及其子集聚合或分离成具备特定行为的分层组。在Yarn中，CGroups特性对容器（Container）使用的资源（例如CPU使用率）进行限制。本特性大大降低了限制容器CPU使用的难度。
使用CDL从Hudi同步数据到DWS 操作场景 本章节指导用户通过MRS 3.2.0版本开启Kerberos认证的集群的CDLService WebUI界面，从Hudi导入数据到DWS。 前提条件 集群已安装CDL、Hudi服务且运行正常。 DWS数据库需要开启前置要求，操作步骤请参考DWS数据库前置准备。
与其他云服务的关系 MRS服务与周边其他云服务的关系如图1所示。 图1 MRS与其他云服务的关系图 MRS服务与其他云服务的关系 表1 MRS服务与其他云服务的关系 服务名称 MRS服务与其他服务的关系 主要交互功能 虚拟私有云（Virtual Private Cloud） MR
使用External Shuffle Service提升Spark Core性能 操作场景 Spark系统在运行含shuffle过程的应用时，Executor进程除了运行task，还要负责写shuffle数据以及给其他Executor提供shuffle数据。当Executor进程任务过重，导致触发GC（Garbage
概述 “数据导出”章节适用于MRS 3.x及后续版本。 简介 Loader是实现MRS与关系型数据库、文件系统之间交换数据和文件的ETL工具，支持将数据或者文件从MRS系统中导出到关系型数据库或文件系统中。 Loader支持如下数据导出方式： 从HDFS/OBS中导出数据到SFTP服务器
准备MapReduce样例初始数据 操作场景 在调测程序之前，需要提前准备将待处理的数据。 运行MapReduce统计样例程序，请参考规划MapReduce统计样例程序数据。 运行MapReduce访问多组件样例程序，请参考规划MapReduce访问多组件样例程序数据。 规划MapReduce统计样例程序数据
克隆MRS集群 当新建集群与某原有集群配置相同时，可使用克隆集群功能快速创建集群。 克隆MRS集群使用限制 已删除的集群仅支持删除3个月内的集群进行克隆。 克隆包周期集群时默认不自动续费。 磁盘类型为专属分布式存储的集群不允许克隆。 克隆时仅可以修改为更高集群版本，无法克隆创建历史版本集群。
准备HDFS应用开发用户 前提条件 MRS服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。 操作场景 开发用户用于运行样例工程。用户需要有HDFS权限，才能运行HDFS样例工程。 操作步骤 登录MRS Manager，在MRS Manager界面选择“系统设置
使用JDBC接口提交数据分析任务 功能简介 本章节介绍如何使用JDBC样例程序完成数据分析任务。 样例代码 使用Hive JDBC接口提交数据分析任务，该样例程序在“hive-examples/hive-jdbc-example”的“JDBCExample.java”中，实现该功能的模块如下：
使用External Shuffle Service提升Spark Core性能 操作场景 Spark系统在运行含shuffle过程的应用时，Executor进程除了运行task，还要负责写shuffle数据以及给其他Executor提供shuffle数据。当Executor进程任务过重，导致触发GC（Garbage
HDFS性能差导致HBase服务不可用告警 问题现象 HBase组件不断上报服务不可用告警。 原因分析 该问题多半为HDFS性能较慢，导致健康检查超时，从而导致监控告警。可通过以下方式判断： 首先查看HMaster日志（“/var/log/Bigdata/hbase/hm/hbase-omm-xxx
批量迁移Loader作业 操作场景 Loader支持将作业批量从一个分组（源分组）迁移到另一个分组（目标分组）。 前提条件 源分组和目标分组均存在。 当前用户具备源分组和目标分组的编辑“Group Edit”权限。 当前用户具备源分组的作业编辑“Jobs Edit”权限或待迁移作业的编辑“Edit”权限。
批量迁移Loader作业 操作场景 Loader支持将作业批量从一个分组（源分组）迁移到另一个分组（目标分组）。 本章节适用于MRS 3.x及后续版本。 前提条件 源分组和目标分组均存在。 当前用户具备源分组和目标分组的编辑“Group Edit”权限。 当前用户具备源分组的作业编辑“Jobs
为什么创建Hive表失败？ 问题 为什么创建Hive表失败？ 回答 当源表或子查询具有大数据量的Partition时，创建Hive表失败。执行查询需要很多的task，此时输出的文件数就会很多，从而导致driver OOM。 可以在创建Hive表的语句中增加distribute b
通过Hue管理HBase表 操作场景 用户需要使用图形化界面在集群中创建或查询HBase表时，可以通过Hue完成任务。 如需在Hue WebUI中操作HBase，当前MRS集群中必须部署HBase的Thrift1Server实例。 Thrift1Server实例默认不会安装，用户
配置MRS集群作业消息通知 MRS联合消息通知服务（SMN），采用主题订阅模型，提供一对多的消息订阅以及通知功能，能够实现一站式集成多种推送通知方式（短信和邮件通知）。通过配置作业消息通知可以实现您在作业执行成功或作业执行失败时能立即接收到通知。 登录管理控制台。 单击“服务列表”选择“管理与监管
使用JDBC接口提交数据分析任务 功能介绍 本章节介绍如何使用JDBC样例程序完成数据分析任务。 样例代码 使用Hive JDBC接口提交数据分析任务，该样例程序在“hive-examples/hive-jdbc-example”的“JDBCExample.java”中，实现该功能的模块如下：
使用JDBC接口提交数据分析任务 功能介绍 本章节介绍如何使用JDBC样例程序完成数据分析任务。 样例代码 使用Hive JDBC接口提交数据分析任务，该样例程序在“hive-examples/hive-jdbc-example”的“JDBCExample.java”中，实现该功能的模块如下：
开发和部署HetuEngine Function Plugin 用户可以自定义一些函数，用于扩展SQL以满足个性化的需求，这类函数称为UDF。 本章节主要介绍开发和应用HetuEngine Function Plugin的具体步骤。 MRS 3.2.1及以后版本，需要基于JDK17
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
