检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本指南通过使用spark-shell简要介绍了Hudi功能。使用Spark数据源，将通过代码段展示如何插入和更新Hudi的默认存储类型数据集： COW表。每次写操作之后，还将展示如何读取快照和增量数据。 前提条件 在Manager界面创建用户并添加hadoop和hive用户组，主组加入hadoop。
但是有的时候，使用mapPartitions会出现OOM（内存溢出）的问题。因为单次函数调用就要处理掉一个partition所有的数据，如果内存不够，垃圾回收时是无法回收掉太多对象的，很可能出现OOM异常。所以使用这类操作时要慎重！ 使用filter之后进行coalesce操作。 通常对一个RDD执行filter算子
选择对应的IP模式，如IPv4或者IPv6。 “目的端主NameNode IP地址”：填写备集群主NameNode业务平面IP地址。 “目的端备NameNode IP地址”：填写备集群备NameNode业务平面IP地址。 “目的端NameNode RPC端口”：填写备集群HDFS基础配置“dfs
"master_scale_up", "mrs_ecs_agency", "multi_disks", "multi_login_mode", "obs_integration", "obs_user_policy", "opensource_port_matrix", "ops_channel", "password_policy_v2"
* 购买数量 * 购买时长 本例中，在第一个计费周期内MRS普通版集群的使用量为1316秒，单价可在MRS价格计算器中查询。 抹零金额 华为云产品定价精度为小数点后8位（单位：元），因此在计费过程中会产生小数点后8位的资源使用费用。而在实际扣费时，仅扣除到小数点后2位，小数点后第
Spark客户端设置回收站version不生效 问题 Spark客户端设置fs.obs.hdfs.trash.version=1不生效，drop table后文件在回收站的存放路径不改变。 通常，默认情况： 当fs.obs.hdfs.trash.version=2时，回收站路径为：/user/
配置NameNode内存参数 配置场景 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。 配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS“全部配置”页面。
HetuEngine用户权限说明 HetuEngine在集群已启用Kerberos认证（安全模式）时提供了如下两种权限管控方式，默认使用Ranger权限模型；在集群未启用Kerberos认证（普通模式）时提供了Ranger权限模型，默认未开启Ranger权限模型： Ranger权
配置NameNode内存参数 配置场景 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。 配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS“全部配置”页面。
在MRS集群中查询SparkSql和SparkScript两种类型作业的SQL语句运行完成后返回的查询结果。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/job-executions/
终止作业 功能介绍 在MRS集群中终止指定作业。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/job-executions/{job_execution_id}/kill 表1 路径参数
使用hive-table方式同步数据到obs上的hive表报错 问题 使用hive-table方式同步数据到obs上的hive表报错。 回答 修改数据同步方式，将-hive-table改成-hcatalog-table。 父主题： Sqoop常见问题
为什么在Hive自定义配置中添加OBS快删目录后不生效 问题 在配置MRS多用户访问OBS细粒度权限的场景中，在Hive自定义配置中添加OBS快删目录的配置后，删除Hive表，执行结果为成功，但是OBS目录没有删掉。 回答 由于没有给用户配置快删目录的权限，导致数据不能被删除。需
为什么在Hive自定义配置中添加OBS快删目录后不生效 问题 在配置MRS多用户访问OBS细粒度权限的场景中，在Hive自定义配置中添加OBS快删目录的配置后，删除Hive表，执行结果为成功，但是OBS目录没有删掉。 回答 由于没有给用户配置快删目录的权限，导致数据不能被删除。需
查询作业列表信息 功能介绍 在MRS指定集群中查询作业列表信息。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/job-executions 表1 路径参数 参数 是否必选 参数类型 描述
HDFS客户端无法删除超长目录 问题背景与现象 执行hadoop fs -rm -r -f obs://<obs_path>命令，删除OBS超长目录出现如下报错： 2022-02-28 17:12:45,605 INFO internal.RestStorageService: OkHttp
使用Loader从SFTP服务器导入数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从SFTP服务器导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取SFTP服务器使
据的应用开发示例，实现数据分析、处理，并输出满足用户需要的数据信息。 另外以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 Oozie 开启Kerberos认证集群的样例工程
SparkSQL权限介绍 SparkSQL权限 类似于Hive，SparkSQL也是建立在Hadoop上的数据仓库框架，提供类似SQL的结构化数据。 MRS提供用户、用户组和角色，集群中的各类权限需要先授予角色，然后将用户或者用户组与角色绑定。用户只有绑定角色或者加入绑定角色的用户组，才能获得权限。
任务，也可以通过集群客户端后台方式提交作业。 MRS作业处理的数据通常来源于OBS或HDFS，用户创建作业前需要将待分析数据上传至OBS系统，MRS使用OBS中的数据进行计算分析。 MRS也支持将OBS中的数据导入至HDFS中，使用HDFS中的数据进行计算分析。数据完成处理和分析
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
