检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置MRS集群通过IAM委托对接OBS 配置MRS集群通过IAM委托对接OBS 配置MRS集群组件回收站目录清理策略 MRS集群服务对接OBS示例 配置MRS集群用户的OBS的细粒度访问权限 父主题： 配置MRS集群存算分离
使用Loader从HBase导出数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从HBase导出到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 确保用户已授权访问作业
在集群“概览”页签中，查询并记录集群所绑定的委托名称。 登录IAM服务控制台。 选择“权限 > 创建自定义策略”。 策略名称：请输入策略名称。 作用范围：请选择“全局级服务”。 策略配置方式：请选择“可视化视图”。 策略内容： “允许”选择“允许”。 “云服务”选择“对象存储服务 (OBS)”。 “操作”勾选所有“写”、“列表”和“只读”权限。
何在存算分离场景下对接OBS，对接指导可参考Hive对接OBS文件系统章节。 前提条件 已安装Hive客户端。 操作示例 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd 客户端安装目录 例如安装目录为“/opt/client”，则执行以下命令：
某些计算任务的执行时间超过阈值。 可能原因 OBS服务端出现卡顿，或OBS客户端到OBS服务端之间的网络不稳定。 处理步骤 检查堆内存使用率。 在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > OBS元数据接口调用平均时间超过阈值”，查看“定位信息”中的角色名并确定实例的IP地址。
OBS是否支持ListObjectsV2协议？ 问： OBS是否支持ListObjectsV2协议？ 答： 不支持。 父主题： 周边生态对接类
步骤一：创建ECS委托 登录华为云管理控制台。 在服务列表中选择“管理与监管 > 统一身份认证服务”。 选择“委托 > 创建委托”。 设置“委托名称”。例如：mrs_ecs_obs。 “委托类型”选择“云服务”，在“云服务”中选择“弹性云服务器 ECS 裸金属服务器 BMS”，授权ECS或BMS调用OBS服务，如图2所示。
conf上传到MRS客户端所在节点。 步骤2-3仅启用Kerberos认证的集群执行，普通集群请直接从步骤4开始执行。 根据业务情况，准备好客户端，并登录安装客户端的节点。 例如在Master2节点更新客户端，则登录该节点使用客户端，具体参见使用MRS客户端。 执行以下命令切换用户。
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 对于配置了冷热分离策略的表，无法读取和写入OBS上的冷数据，同时本地盘上的热数据变冷后，无法移动到OBS上。 可能原因 ClickHouse访问OBS的endpoint等参数错误。
JobGateway手动更新服务客户端 本章节适用于MRS 3.3.1及之后版本。 操作场景 该操作指导用户在MRS集群添加多服务更新服务客户端失败时，手动更新客户端。 前提条件 Manager上已成功添加服务。 仅适用于Spark 、Hive 、Flink服务。 操作步骤 登录Manager页面，选择“集群
XXXX 访问OBS，无需再配置AK、SK和Endpoint。 OBS路径格式：obs://OBS并行文件系统名称/XXX hadoop fs -ls "obs://obs-example/job/hadoop-mapreduce-examples-3.1.2.jarobs-exam
SparkStreaming作业运行后报OBS访问403如何处理？ 问： SparkStreaming作业运行几十个小时后失败，报OBS访问403如何处理？ 答： 当用户提交作业需要读写OBS时，提交作业程序会默认为用户添加访问OBS的临时accesskey和secretkey，
托的AK/SK访问OBS服务，同时OBS服务会使用接收到的AK/SK访问数据加密服务获取KMS密钥状态，因此需要在使用的委托上绑定“KMS Administrator”策略，否则在处理加密数据时OBS会返回“403 Forbidden”的错误信息。目前MRS服务会在默认委托“MR
具有管理员权限的角色并绑定给用户。 已安装MySQL客户端，相关操作可参考使用MySQL客户端连接Doris。 已准备待导入至Doris的数据文件。 创建OBS并行文件系统并获取AK/SK 创建OBS并行文件系统。 登录OBS管理控制台。 选择“并行文件系统 > 创建并行文件系统”。
Spark客户端设置回收站version不生效 问题 Spark客户端设置fs.obs.hdfs.trash.version=1不生效，drop table后文件在回收站的存放路径不改变。 通常，默认情况： 当fs.obs.hdfs.trash.version=2时，回收站路径为：/user/
使用distcp命令拷贝空文件夹报错 问题背景与现象 通过MRS客户端使用以下distcp命令，无法从HDFS复制空文件夹到OBS。 hadoop distcp -Dfs.obs.endpoint=xxx -Dfs.obs.access.key=xxx -Dfs.obs.secret.key=xxx -update
客户端使用类 如何关闭ZooKeeper的SASL认证？ 在MRS集群外客户端中执行kinit报错“Permission denied”如何处理？ ClickHouse客户端执行SQL查询时报内存不足如何处理？ MRS如何连接spark-shell？ MRS如何连接spark-beeline？
多个SFTP服务器操作数据，单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。
使用MRS客户端 安装MRS客户端 更新MRS客户端 父主题： 附录
客户端工具说明 使用命令行运行Loader作业 loader-tool工具使用指导 loader-tool工具使用示例 schedule-tool工具使用指导 schedule-tool工具使用示例 使用loader-backup工具备份作业数据 开源sqoop-shell工具使用指导
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
