检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Hue创建工作流 操作场景 用户通过Hue管理界面可以进行提交Oozie作业，提交作业之前，首先需要创建一个工作流。 前提条件 使用Hue提交Oozie作业之前，需要提前配置好Oozie客户端，并上传样例配置文件和jar至HDFS指定目录，具体操作请参考Oozie客户端配置说明章节。
配置Oozie节点间用户互信 操作场景 在使用Oozie节点通过SSH作业执行外部节点的Shell，需要单向免密互信时，可以参考此示例。 前提条件 已经安装Oozie，而且能与外部节点（SSH连接的节点）通信。 操作步骤 在外部节点上确保连接SSH时使用的用户存在，且该用户“~/
使用Hue WebUI典型场景 HDFS on Hue 配置HDFS冷热数据迁移 Hive on Hue Oozie on Hue 父主题： 使用Hue（MRS 3.x及之后版本）
从零开始使用Spark 本章节提供从零开始使用Spark提交sparkPi作业的操作指导，sparkPi是最经典的Spark作业，它用来计算Pi（π）值。 操作步骤 准备sparkPi程序。 开源的Spark的样例程序包含多个例子，其中包含sparkPi。可以从https://archive
从零开始使用CarbonData MRS 3.x之前版本参考本章节，MRS 3.x及后续版本请参考使用CarbonData（MRS 3.x及之后版本）。 本章节介绍使用Spark CarbonData的基本流程，所有任务场景基于spark-beeline环境。CarbonData快速入门包含以下任务：
在Ranger中配置Hive/Impala的访问权限 在创建完安装了Ranger组件的MRS集群后，Hive/Impala的权限控制暂未集成在Ranger中，由于Hive与Impala配置方法一致，本章节主要介绍Hive组件如何集成在Ranger中。 登录Ranger WebUI界面。
配置HDFS token的最大存活时间 配置场景 安全模式下，HDFS中用户可以对Token的最大存活时间和Token renew的时间间隔进行灵活地设置，根据集群的具体需求合理地配置。 配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。
配置MapReduce集群管理员列表 配置场景 该功能主要用于指定MapReduce集群管理员。 其中，集群管理员列表由参数“mapreduce.cluster.administrators”指定，集群管理员admin具有所有可以操作的权限。 配置描述 进入Mapreduce服务
配置AM自动调整分配内存 本章节适用于MRS 3.x及后续版本集群。 配置场景 启动该配置的过程中，ApplicationMaster在创建Container时，分配的内存会根据任务总数的浮动自动调整，资源利用更加灵活，提高了客户端应用运行的容错性。 配置描述 参数入口： 参考修
配置Yarn数据访问通道协议 配置场景 服务端配置了web访问为https通道，如果客户端没有配置，默认使用http访问，客户端和服务端的配置不同，就会导致访问结果显示乱码。在客户端和服务端配置相同的“yarn.http.policy”参数，可以防止客户端访问结果显示乱码。 操作步骤
报错找不到QueryProvider类 问题 报错找不到QueryProvider类。 回答 搜索mrs客户端目录，将以下两个jar包放入sqoop的lib目录下。 父主题： Sqoop常见问题
连接postgresql或者gaussdb时报错 问题 连接postgresql或者gaussdb时报错。 回答 场景一：（import场景）使用sqoop import命令抽取开源postgre到MRS hdfs或hive等。 问题现象： 使用sqoop命令查询postgre表可以，但是执行sqoop
配置ClickHouse对接OBS源文件 使用S3表函数 登录主OMS节点。 执行以下命令获取OBS内的存储数据。 select * from S3(path, [ak, sk,] format, structure, [compression]) path：访问域名/OBS文件
聚合算法优化 操作场景 在Spark SQL中支持基于行的哈希聚合算法，即使用快速聚合hashmap作为缓存，以提高聚合性能。hashmap替代了之前的ColumnarBatch支持，从而避免拥有聚合表的宽模式（大量key字段或value字段）时产生的性能问题。 操作步骤 要启动
Datasource表优化 操作场景 将datasource表的分区消息存储到Metastore中，并在Metastore中对分区消息进行处理。 优化datasource表，支持对表中分区执行增加、删除和修改等语法，从而增加与Hive的兼容性。 支持在查询语句中，把分区裁剪并下压
schedule-tool工具使用示例 操作场景 通过Loader WebUI或客户端工具Loader-tool创建好作业后，可使用schedule-tool工具执行作业。 本章节适用于MRS 3.x及后续版本。 前提条件 完成了Loader客户端的安装与配置，具体操作请参见使用命令行运行Loader作业。
优化Flink Netty网络通信参数 操作场景 Flink通信主要依赖netty网络，所以在Flink应用执行过程中，netty的设置尤为重要，网络通信的好坏直接决定着数据交换的速度以及任务执行的效率。 操作步骤 以下配置均可在客户端的“conf/flink-conf.yaml
HDFS应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 HDFS应用程序开发流程 表1 HDFS应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解HDFS的基本概念。 HDFS应用开发简介 准备开发和运行环境 使用IntelliJ
创建Connection 功能介绍 HBase通过ConnectionFactory.createConnection(configuration)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器
设置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 在“${HADOOP_HOME}/etc/hadoop/”下的“Hdfs-site.xml”中设置如下参数。 <name>dfs.storage.policy.enabled</name> <value>true</value>
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
