优先策略 当某个服务在获取所有可用资源后还无法满足最小资源的要求,则会发生优先抢占。抢占功能默认关闭。 父主题: 产品功能
计算资源可分为静态服务资源和动态资源: 大数据集群为Yarn分配的资源是静态服务资源,可以由Yarn动态分配给任务队列计算使用。 静态服务资源 静态服务资源是集群分配给各个服务的计算资源,每个服务的计算资源总量固定,不与其他服务共享,是静态的。
MRS集群处理的数据源来源于OBS或HDFS,HDFS是Hadoop分布式文件系统(Hadoop Distributed File System),OBS(Object Storage Service)即对象存储服务,是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力
前提条件 对接OBS前需要提前在OBS服务中创建相关目录,并确保访问用户具有对应目录的访问操作权限。 代码样例 如下是实例化FileSystem的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsMain类。
为已有的租户关联服务时,可以关联的服务资源包含:HDFS、HBase和Yarn。 若为已有的租户关联服务资源:在租户列表单击目标租户,切换到“服务关联”页签,单击“关联服务”单独配置当前租户关联资源。
MRS集群客户端如何通过AK/SK信息对接OBS MRS 1.9.2及之后的版本支持使用obs://的方式对接OBS服务,当前主要支持的组件为Hadoop、Hive、Spark、Presto、Flink。其中HBase组件使用obs://的方式对接OBS服务暂不支持。
管理MRS集群租户 MRS多租户简介 MRS多租户使用流程 配置MRS租户 管理MRS租户资源 切换MRS租户资源调度器 父主题: 管理MRS集群
在服务列表中选择“管理与监管 > 统一身份认证服务”。 选择“委托 > 创建委托”。 设置“委托名称”。例如:mrs_ecs_obs。 “委托类型”选择“云服务”,在“云服务”中选择“弹性云服务器 ECS 裸金属服务器 BMS”,授权ECS或BMS调用OBS服务,如图2所示。
联系OBS运维人员查看OBS服务是否正常。 是,执行步骤 4。 否,联系OBS服务运维人员修复OBS服务。 收集故障信息。
例如:mrs_ecs_obs。 “委托类型”选择“云服务”,在“云服务”中选择“弹性云服务器ECS 裸金属服务器 BMS”,授权ECS或BMS调用OBS服务。 图2 创建委托 “持续时间”选择“永久”并单击“完成”。
步骤3:创建OBS连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,连接器类型选择“对象存储服务(OBS)”后,单击“下一步”配置OBS连接参数,如图3所示。 名称:用户自定义连接名称,例如“obslink”。
在具备OBS资源的访问权限后,MRS集群内相关组件可通过客户端访问对应文件资源。 各组件访问OBS配置说明可参考如下内容: MRS集群服务对接OBS示例 MRS集群服务对接OBS示例 视频介绍 基于Guardian服务的存算分离配置流程 创建MRS集群。
在云服务列表中选择“存储 > 对象存储服务”,登录OBS管理控制台。 单击“并行文件系统”,创建一个并行文件系统,并上传测试数据文件。 例如创建的文件系统名称为“mrs-demo-data”,单击系统名称,在“文件”页面中,新建一个文件夹“flink”,上传测试数据至该目录中。
该委托拥有对象存储服务的OBS OperateAccess权限和在集群所在区域拥有CES FullAccess(对开启细粒度策略的用户)、CES Administrator和KMS Administrator权限。
检查待删除的租户是否存在子租户,如果存在,需要先删除全部子租户,否则无法删除当前租户。 待删除租户的角色,不能与任何一个用户或者用户组存在关联关系。 通过管理控制台删除租户 在集群详情页,单击“租户管理”。 在左侧租户列表,将光标移动到需要删除的租户节点上,单击“删除”。
同时MRS也支持用户将数据存储在OBS服务中,使用MRS集群仅作数据计算处理的存算分离模式。 更多信息MRS各版本支持的组件情况请参见MRS组件版本一览表。 父主题: 产品咨询类
服务 - 配置当前租户关联使用的其他服务资源(如果该参数置灰表示当前集群无支持“关联服务”操作的组件)。 单击“关联服务”,在“服务”选择服务名称。在“关联类型”选择“独占”表示独占服务资源,选择“共享”表示共享服务资源。 描述 - 配置当前租户的描述信息。
如果租户关联了HBase服务且当前集群启用了Ranger鉴权,用户需要通过Ranger界面配置HBase相关执行权限。 描述 配置当前用户的描述信息。 单击“确定”完成用户创建。 父主题: 配置MRS租户
为已有的租户关联Doris服务和用户 在FusionInsight Manager页面,选择“租户资源”,在租户列表中选择需要操作的租户,选择“服务关联”页签,单击“关联服务”。
也可以参考切换MRS租户资源调度器切换调度器。 调度器类型可登录Manager,在Yarn服务“全部配置”页面搜索“yarn.resourcemanager.scheduler.class”参数进行查询。
您即将访问非华为云网站,请注意账号财产安全