检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
API概览 MRS提供的符合RESTful API的设计规范的接口，如表1和表2所示。如何选择不同版本的接口请参见API版本选择建议。 MRS版本演进过程中逐步废弃部分接口，具体请参见表3。 表1 V2接口 接口 功能 API URI 集群管理接口 创建集群 POST /v2/{
0-LTS及之后的版本支持基于Guardian组件对接OBS。 创建OBS委托。 用户需要创建1个具有OBS访问权限的委托，用于Guardian组件对接OBS时使用。 开启Guardian组件对接OBS开关并配置组件。 修改Guardian服务相关配置参数，配置IAM委托认证信息。 配置组件数据回收站目录的清理策略。
数据存储在OBS和HDFS有什么区别？ MRS集群处理的数据源来源于OBS或HDFS，HDFS是Hadoop分布式文件系统（Hadoop Distributed File System），OBS（Object Storage Service）即对象存储服务，是一个基于对象的海量存
“添加资源路径”在“路径”中输入obs_bucket_name。 其中obs_bucket-name请使用实际的OBS桶名替换。若桶类型为“并行文件系统”需要再添加obs_bucket_name/tmp/路径，桶类型为“对象存储”则不需要添加obs_bucket_name/tmp/路径。
配置Hive通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在Hive客户端创建Location为OBS路径的表。 建表时指定Location为OBS路径 使用安装客户端用户登录客户端安装节点。 执行如下命令初始化环境变量。 source
通过Flink作业处理OBS数据 应用场景 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅做数据计算处理的存算分离模式。 本文将向您介绍如何在MRS集群中运行Flink作业来处理OBS中存储的数据。 方案架构 Flink
客户端API和全局命名空间访问包括HDFS和OBS在内的持久化存储系统，从而实现了对计算和存储的分离。 图1 Alluxio架构 优势： 提供内存级I/O吞吐率，同时降低具有弹性扩张特性的数据驱动型应用的成本开销 简化云存储和对象存储接入 简化数据管理，提供对多数据源的单点访问 应用程序部署简易
使用Hadoop客户端删除OBS上数据时报.Trash目录没有权限错误 问题描述 执行hadoop fs -rm obs://<obs_path>出现如下报错： exception [java.nio.file.AccessDeniedException: user/root/.Trash/Current/:
"arguments" : [ "obs://obs-test/program/hadoop-mapreduce-examples-x.x.x.jar", "wordcount", "obs://obs-test/input/", "obs://obs-test/job/mapreduce/output"
Machine, VM）上，数据存储在远端的对象存储（Object Storage Service, OBS）集群中。由于远端OBS的数据访问速度限制，VM上的计算任务经常需要等待数据而拖慢任务的执行。因此，计算侧需要一个高速的缓存层来消除计算集群和OBS之间的数据访问鸿沟。为了解决这个问
XXXX 访问OBS，无需再配置AK、SK和Endpoint。 OBS路径格式：obs://OBS并行文件系统名称/XXX hadoop fs -ls "obs://obs-example/job/hadoop-mapreduce-examples-3.1.2.jarobs-exam
> 全部配置”，搜索参数“sasl.enabled.mechanisms”，将参数值改为“GSSAPI,PLAIN”。单击“保存”，单击“概览”，选择“更多 > 重启服务”使配置生效 获取“huawei-spring-boot-kafka-examples-*.jar”。 在样例
Impala应用开发简介 Impala简介 Impala直接对存储在HDFS，HBase 或对象存储服务（OBS）中的Hadoop数据提供快速，交互式SQL查询。除了使用相同的统一存储平台之外，Impala还使用与Apache Hive相同的元数据，SQL语法（Hive SQL）
Impala Impala Impala直接对存储在HDFS、HBase或对象存储服务（OBS）中的Hadoop数据提供快速、交互式SQL查询。除了使用相同的统一存储平台之外，Impala还使用与Apache Hive相同的元数据，SQL语法（Hive SQL），ODBC驱动程序
Impala应用开发简介 Impala直接对存储在HDFS、HBase或对象存储服务（OBS）中的Hadoop数据提供快速、交互式SQL查询。除了使用相同的统一存储平台之外，Impala还使用与Apache Hive相同的元数据、SQL语法（Hive SQL）、ODBC驱动程序和
Impala应用开发简介 Impala直接对存储在HDFS，HBase 或对象存储服务（OBS）中的Hadoop数据提供快速，交互式SQL查询。除了使用相同的统一存储平台之外，Impala还使用与Apache Hive相同的元数据，SQL语法（Hive SQL），ODBC驱动程序
用于同步用户及用户组的内部用户。 rangertagsync 系统随机生成 用于同步标签的内部用户。 rangerobs/hadoop.<系统域名> 系统随机生成 Guardian访问ranger系统管理员用户。 jobserver 系统随机生成 JobGateway的系统管理员，用户权限： HDFS文件操作权限：
Impala服务是否支持磁盘热插拔 问题 MRS集群中Impala服务是否支持磁盘热插拔？ 回答 Impala服务的数据一般是存储在HDFS或者OBS（对象存储服务）中，无需直接使用本地节点的磁盘。仅Impalad实例在业务查询执行过程中由于内存空间不足，才需要溢写到磁盘（由--scratch
park、Presto、Flink组件支持该功能。通过IAM委托对接OBS主要操作如下： 创建具有访问OBS权限的ECS委托 创建存算分离集群 创建OBS文件系统用于存放数据 配置生命周期规则 创建具有访问OBS权限的ECS委托 MRS在IAM的委托列表中预置了MRS_ECS_D
配置HetuEngine通过Guardian访问OBS HetuEngine对接OBS MRS集群支持HetuEngine服务在创建表时指定Location为OBS文件系统路径，也支持基于Hive Metastore方式对接OBS。 在创建表时指定Location为OBS文件系统路径 如果存在运行中
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
