检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用distcp命令拷贝空文件夹报错 问题背景与现象 通过MRS客户端使用以下distcp命令，无法从HDFS复制空文件夹到OBS。 hadoop distcp -Dfs.obs.endpoint=xxx -Dfs.obs.access.key=xxx -Dfs.obs.secret
对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 问题 对接OBS ECS/BMS集群，spark-beeline登录后，指定location到OBS建表报错失败。 图1 错误信息 回答 HDFS上ssl.jceks文件权限不足，导致建表失败。
方案优势 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离模式，从而实现按需灵活扩展资源、低成本的海量数据分析方案。 约束与限制 大数据存算分离场景，请务必使用OBS并行文件系统，使用普通对象桶会对集群性能产生较大影响。
为什么在Hive自定义配置中添加OBS快删目录后不生效 问题 在配置MRS多用户访问OBS细粒度权限的场景中，在Hive自定义配置中添加OBS快删目录的配置后，删除Hive表。 执行结果为成功，但是OBS目录没有删掉。 回答 由于没有给用户配置快删目录的权限，导致数据不能被删除。
单击“新建作业”，进入“基本信息”界面，创建作业基本信息。 图2 基本信息界面 在“名称”中输入作业的名称。 在“类型”中选择“导出”。 在“组”中设置作业所属组，默认没有已创建的组，单击“添加”创建一个新的组，输入组的名称，单击“确定”保存。 在“队列”中选择执行该作业的YARN队列。默认值“root
单击“新建作业”，进入“基本信息”界面，创建作业基本信息。 图2 “基本信息”界面 在“名称”中输入作业的名称。 在“类型”中选择“导入”。 在“组”中设置作业所属组，默认没有已创建的组，单击“添加”创建一个新的组，输入组的名称，单击“确定”保存。 在“队列”中选择执行该作业的YARN队列。默认值“root
对接OBS场景中，spark-beeline登录后指定location到OBS建表失败 问题 对接OBS ECS/BMS集群，spark-beeline登录后，指定location到OBS建表报错失败。 图1 错误信息 回答 HDFS上ssl.jceks文件权限不足，导致建表失败。
为什么在Hive自定义配置中添加OBS快删目录后不生效 问题 在配置MRS多用户访问OBS细粒度权限的场景中，在Hive自定义配置中添加OBS快删目录的配置后，删除Hive表。 执行结果为成功，但是OBS目录没有删掉。 回答 由于没有给用户配置快删目录的权限，导致数据不能被删除。
单击“新建作业”，进入“基本信息”界面，创建作业基本信息。 图2 “基本信息”界面 在“名称”中输入作业的名称。 在“类型”中选择“导入”。 在“组”中设置作业所属组，默认没有已创建的组，单击“添加”创建一个新的组，输入组的名称，单击“确定”保存。 在“队列”中选择执行该作业的YARN队列。默认值“root
单击“新建作业”，进入“基本信息”界面，创建作业基本信息。 图2 “基本信息”界面 在“名称”中输入作业的名称。 在“类型”中选择“导入”。 在“组”中设置作业所属组，默认没有已创建的组，单击“添加”创建一个新的组，输入组的名称，单击“确定”保存。 在“队列”中选择执行该作业的YARN队列。默认值“root
CDM支持文件到文件类数据的迁移，本章节以MRS HDFS至OBS为例，介绍如何通过CDM将文件类数据迁移到OBS文件系统中。 使用CDM服务迁移MRS HDFS数据至OBS流程如下： 步骤1：创建CDM集群并绑定EIP 步骤2：创建MRS HDFS连接 步骤3：创建OBS连接 步骤4：创建迁移作业 方案架构 CD
HDFS访问OBS 功能简介 访问OBS过程为： 设置“fs.obs.access.key”和“fs.obs.secret.key”。 由此FileSystem实例可以读取、新增和删除各类资源。 不支持追加操作。 前提条件 对接OBS前需要提前在OBS服务中创建相关目录，并确保访问用户具有对应目录的访问操作权限。
单击“新建作业”，进入“基本信息”界面，创建作业基本信息。 图2 基本信息界面 在“名称”中输入作业的名称。 在“类型”中选择“导出”。 在“组”中设置作业所属组，默认没有已创建的组，单击“添加”创建一个新的组，输入组的名称，单击“确定”保存。 在“队列”中选择执行该作业的YARN队列。默认值“root
在spark-beeline中创建或删除表失败 用户问题 客户在spark-beeline频繁创建和删除大量用户的场景下，个别用户偶现创建/删除表失败。 问题现象 创建表过程： CREATE TABLE wlg_test001 (start_time STRING,value INT);
已安装MySQL客户端，相关操作可参考使用MySQL客户端连接Doris。 已准备待导入至Doris的数据文件。 创建OBS并行文件系统并获取AK/SK 创建OBS并行文件系统。 登录OBS管理控制台。 选择“并行文件系统 > 创建并行文件系统”。 填写文件系统名称，例如“doris-obs”。 企业项目
Hudi在upsert时占用了临时文件夹中大量空间 问题 Hudi在upsert时占用了临时文件夹中大量空间。 回答 当UPSERT大量输入数据时，如果数据量达到合并的最大内存时，Hudi将溢出部分输入数据到磁盘。 如果有足够的内存，请增加spark executor的内存和添加“hoodie
Hudi在upsert时占用了临时文件夹中大量空间 问题 Hudi在upsert时占用了临时文件夹中大量空间。 回答 当UPSERT大量输入数据时，如果数据量达到合并的最大内存时，Hudi将溢出部分输入数据到磁盘。 如果有足够的内存，请增加spark executor的内存和添加“hoodie
配置Flume通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，Flume即可运行OBS作业。 本章节适用于MRS 3.x及之后的版本。 Flume对接OBS 创建用于存放数据的OBS文件夹。 登录OBS控制台。 单击“并行文件系统”进入并行文件系统页面。
配置ClickHouse对接OBS源文件 使用S3表函数 登录主OMS节点。 执行以下命令获取OBS内的存储数据。 select * from S3(path, [ak, sk,] format, structure, [compression]) path：访问域名/OBS文件路径，登录OBS管理控
MRS既可以处理OBS中的数据，也可以处理HDFS中的数据。在使用MRS分析数据前，需要先准备数据。 将本地数据上传OBS。 登录OBS管理控制台。 在OBS上创建userdata并行文件系统，然后在userdata文件系统下创建program、input、output和log文件夹。 单击“并行文件系统
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
