检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
客户端API和全局命名空间访问包括HDFS和OBS在内的持久化存储系统，从而实现了对计算和存储的分离。 图1 Alluxio架构 优势： 提供内存级I/O吞吐率，同时降低具有弹性扩张特性的数据驱动型应用的成本开销 简化云存储和对象存储接入 简化数据管理，提供对多数据源的单点访问 应用程序部署简易
cket_name。 其中obs_bucket-name请使用实际的OBS桶名替换。若桶类型为“并行文件系统”需要再添加obs_bucket_name/tmp/路径，桶类型为“对象存储”则不需要添加obs_bucket_name/tmp/路径。 （可选）请求条件，暂不添加。 图1
ris。 已准备待导入至Doris的数据文件。 创建OBS并行文件系统并获取AK/SK 创建OBS并行文件系统。 登录OBS管理控制台。 选择“并行文件系统 > 创建并行文件系统”。 填写文件系统名称，例如“doris-obs”。 企业项目需要与MRS集群保持一致，其他参数请根据需要填写。
Impala Impala Impala直接对存储在HDFS、HBase或对象存储服务（OBS）中的Hadoop数据提供快速、交互式SQL查询。除了使用相同的统一存储平台之外，Impala还使用与Apache Hive相同的元数据，SQL语法（Hive SQL），ODBC驱动程序
Impala应用开发简介 Impala直接对存储在HDFS，HBase 或对象存储服务（OBS）中的Hadoop数据提供快速，交互式SQL查询。除了使用相同的统一存储平台之外，Impala还使用与Apache Hive相同的元数据，SQL语法（Hive SQL），ODBC驱动程序
Impala应用开发简介 Impala简介 Impala直接对存储在HDFS，HBase 或对象存储服务（OBS）中的Hadoop数据提供快速，交互式SQL查询。除了使用相同的统一存储平台之外，Impala还使用与Apache Hive相同的元数据，SQL语法（Hive SQL）
Impala应用开发简介 Impala直接对存储在HDFS、HBase或对象存储服务（OBS）中的Hadoop数据提供快速、交互式SQL查询。除了使用相同的统一存储平台之外，Impala还使用与Apache Hive相同的元数据、SQL语法（Hive SQL）、ODBC驱动程序和
目的连接名称：选择步骤3：创建OBS连接中的“obs_link”。 桶名：待迁移数据的桶。 写入目录：写入数据到OBS服务器的目录。 文件格式：迁移文件类数据到文件时，文件格式选择“二进制格式”。 高级属性里的可选参数一般情况下保持默认既可，详细说明请参见配置OBS目的端参数。 单击“下
创建委托”。 设置“委托名称”，例如：mrs_ecs_obs。 “委托类型”选择“云服务”，在“云服务”中选择“弹性云服务器ECS 裸金属服务器BMS”，授权ECS或BMS调用OBS服务，如图1所示。 “持续时间”选择“永久”并单击“完成”。 图1 创建委托 在授权的确认弹窗中，单击“立即授
署在计算侧的VM中，通过智能预取OBS上的数据来加速计算任务的执行。 图1 MemArtsCC结构图 表1 MemArtsCC结构图说明 名称 说明 CC SDK 提供OBSA（OBSA，hadoop客户端插件） FS客户端使用的可访问OBS服务器对象的SDK。 ShardView
Impala服务是否支持磁盘热插拔 问题 MRS集群中Impala服务是否支持磁盘热插拔？ 回答 Impala服务的数据一般是存储在HDFS或者OBS（对象存储服务）中，无需直接使用本地节点的磁盘。 仅Impalad实例在业务查询执行过程中由于内存空间不足，才需要溢写到磁盘（由--scratch_dirs指定）。
Impala服务是否支持磁盘热插拔 问题 MRS集群中Impala服务是否支持磁盘热插拔？ 回答 Impala服务的数据一般是存储在HDFS或者OBS（对象存储服务）中，无需直接使用本地节点的磁盘。 仅Impalad实例在业务查询执行过程中由于内存空间不足，才需要溢写到磁盘（由--scratch_dirs指定）。
存储资源 只创建Doris相关租户时，不选择“HDFS”。 服务 单击“关联服务”，在关联服务配置以下参数并单击“确定”： “服务”：选择“Doris”。 “关联类型”：默认“共享”。 以下参数详细说明可参见表1。 “CPU配额权重”：租户占用CPU资源的相对权重，即相对占比，竞争时生效。
通过Flink作业处理OBS数据 应用场景 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅做数据计算处理的存算分离模式。 本文将向您介绍如何在MRS集群中运行Flink作业来处理OBS中存储的数据。 方案架构 Flink
obs://obs-mrstest/data Mounted obs://obs-mrstest/data at /mnt/obs 通过Alluxio命名空间列出OBS文件系统中的文件。使用ls命令列出OBS挂载目录下的文件。 alluxio fs ls /mnt/obs 38
> 重启服务”，输入当前用户密码，单击“确定”，并勾选“同时重启上层服务。”，单击“确定”，重启Hive服务。 进入beeline客户端，在创建表时指定Location为OBS文件系统路径。 beeline 例如，创建一个表“test”，该表的Location为“obs://OB
可用区创建云服务资源。 区域（Region）：从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region，通用Region指面向公共租户提供通用云服务的Region
Hive jobs cannot be submitted. 不能提交Hive相关作业 请检查是否存在Hive服务以及Hive服务是否正常 400 0169 Flink jobs cannot be submitted. 不能提交Flink作业 请检查是否存在Flink服务以及Flink服务是否正常
当前租户是否需要关联使用其他服务的资源？ 是，执行4。 否，执行5。 单击“关联服务”，配置当前租户关联使用的其他服务资源。 在“服务”选择待操作服务。 在“关联类型”选择： “独占”表示该租户独占服务资源，其他租户不能再关联此服务。 “共享”表示共享服务资源，可与其他租户共享使用此服务资源。 创
当前租户是否需要关联使用其他服务的资源？ 是，执行4。 否，执行5。 单击“关联服务”，配置当前租户关联使用的其他服务资源。 在“服务”选择“HBase”。 在“关联类型”选择： “独占”表示该租户独占服务资源，其他租户不能再关联此服务。 “共享”表示共享服务资源，可与其他租户共享使用此服务资源。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
