检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
0及之后版本，且使用此功能前还需满足以下条件： 需排查OBS是否开启AccessLabel功能，若未开启，需手动开启，详细操作请联系OBS运维人员。 针对OBS存储源，需满足以下条件，否则OBS表将授权失败： 集群中必须已安装Guardian服务。 OBS表的授权只能针对用户组。 MRS 3.5
上传应用数据至MRS集群 MRS集群处理的数据源通常来源于OBS文件系统或集群内的HDFS文件系统，OBS为客户提供海量、安全、高可靠、低成本的数据存储能力。 用户可以基于MRS管理控制台和OBS客户端对OBS数据进行浏览、管理和使用，也可以将OBS的数据导入集群的HDFS系统后进行处理，上传
Spark客户端设置回收站version不生效 问题 Spark客户端设置fs.obs.hdfs.trash.version=1不生效，drop table后文件在回收站的存放路径不改变。 通常，默认情况： 当fs.obs.hdfs.trash.version=2时，回收站路径为：/user/
如何准备MRS的数据源？ MRS既可以处理OBS中的数据，也可以处理HDFS中的数据。在使用MRS分析数据前，需要先准备数据。 将本地数据上传OBS。 登录OBS管理控制台。 在OBS上创建userdata并行文件系统，然后在userdata文件系统下创建program、input、output和log文件夹。
MRS是否支持对DLI服务的业务表进行读写操作？ 问： MRS是否支持对DLI服务的业务表进行读写操作？ 答： 如果数据存放在OBS上，则支持使用MRS服务中的Spark读取DLI表，对表数据进行灵活处理，结果存入另一张DLI表。 如果数据不存放在OBS上，则不支持。 父主题： 周边生态对接类
源。 各组件访问OBS配置说明可参考如下内容： MRS集群服务对接OBS示例 MRS集群服务对接OBS示例 视频介绍 基于Guardian服务的存算分离配置流程 创建MRS集群。 MRS集群内需包含Guardian、Ranger、Hadoop等基础组件。 目前仅MRS 3.3.0
任务，也可以通过集群客户端后台方式提交作业。 MRS作业处理的数据通常来源于OBS或HDFS，用户创建作业前需要将待分析数据上传至OBS系统，MRS使用OBS中的数据进行计算分析。 MRS也支持将OBS中的数据导入至HDFS中，使用HDFS中的数据进行计算分析。数据完成处理和分析
”表示执行完成）。 ECS重置密码插件升级（可选） 华为云ECS服务提供了一键式重置密码功能，弹性云服务器的密码丢失或过期时，可使用该功能进行一键式重置密码。重置密码插件为ECS内部运行的客户端进程，不对外提供任何网络服务，重置密码插件CloudResetPwdUpdateAgent使用了Apache
可以删除MRS集群。集群删除或退订后不再产生费用。 对于包年包月模式集群无法执行删除操作，如果作业执行结束后不需要集群， 可以退订MRS集群。 集群退订后，资源和数据将会被删除并且无法找回，请务必确认完成数据备份后再提交退订。退订规则请参见退订规则说明。 当集群已对接了OBS（存算分离或者冷热分离场
答：DistCP类型作业导入导出数据时不会对比数据的一致性，只是对数据进行复制，不会修改数据。 问：DistCP类型作业在导出时，遇到OBS里已经存在的文件是如何处理的？ 答：DistCP类型作业在导出时，遇到OBS里已经存在的文件时会覆盖原始文件。 父主题： 作业管理类
Loader支持批量导入某个配置文件中的所有作业。 前提条件 当前用户具备待导入作业所在分组的编辑“Jobs Edit”权限。 如果作业所在的分组不存在，则会自动先创建该分组。当前用户就是该分组的创建者，拥有该分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight
hadoop fs -D fs.obs.endpoint=<obs-endpoint> -D fs.obs.access.key=<your-ak> -D fs.obs.secret.key=<your-sk> -copyToLocal obs://yourbucket/myfile
SparkSQL访问Hive分区表启动Job前耗时较长如何处理？ 问题背景 使用SparkSql访问Hive的一个数据存放于OBS的一个分区表，但是运行速度却很慢，并且会大量调用OBS的查询接口。 SQL样例： select a,b,c from test where b=xxx 原因分析 按
道，配置参数如表1所示。 表1 obs-connector配置 参数 说明 名称 指定一个Loader连接的名称。 OBS服务器 输入OBS endpoint地址，一般格式为OBS.Region.DomainName。 例如执行如下命令查看OBS endpoint地址： cat
本章节适用于MRS 3.x及后续版本。 前提条件 当前用户具备待导入作业所在分组的编辑“Jobs Edit”权限。 如果作业所在的分组不存在，则会自动先创建该分组。当前用户就是该分组的创建者，拥有该分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight
Impala Impala Impala直接对存储在HDFS、HBase或对象存储服务（OBS）中的Hadoop数据提供快速、交互式SQL查询。除了使用相同的统一存储平台之外，Impala还使用与Apache Hive相同的元数据，SQL语法（Hive SQL），ODBC驱动程序
计费项 MRS集群的计费项由MRS服务管理费用和IaaS基础设施资源费用（弹性云服务器、云硬盘）组成。 图1 MRS费用组成 具体内容如表1所示。 表1 MRS集群计费项 计费项 计费项说明 适用的计费模式 计费公式 MRS服务管理费用 计费因子：MRS服务管理，以核为单位计费，每个Region计费不相同。包括：
行详细规划。 例如在环保行业中，可以将天气数据存储在OBS，定期转储到HDFS中进行批量分析，在1小时内MRS可以完成10TB的天气数据分析。 图1 环保行业海量数据分析场景 该场景下MRS的优势如下所示。 低成本：利用OBS实现低成本存储。 海量数据分析：利用Hive实现TB/PB级的数据分析。
主机名 产生告警的主机名。 对系统的影响 当Guardian调用ECS metadata失败时，可能会导致获取访问OBS的临时aksk失败，进而业务无法正常访问OBS。 可能原因 ECS底层接口异常，导致请求失败。 处理步骤 收集故障信息。 在FusionInsight Manager界面，选择“运维
产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 当Guardian调用IAM 接口失败时，可能会导致获取访问OBS的临时aksk失败，进而业务无法正常访问OBS。 可能原因 IAM 服务异常。 处理步骤 收集故障信息。 在FusionInsight Manager界面，选择“运维
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
