检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提供两种重启方式,请根据业务自行选择重启方式: 滚动重启:影响小,耗时长。 离线重启:会断服,耗时短。 登录MRS管理控制台或FusionInsight Manager界面。 重启相关组件。 在MRS控制台,选择“现有集群”,单击集群名称进入集群详情页面。单击“组件管理”,选择需要重启的服务,进入服务
补丁卸载完成后,需要手动重启相关大数据组件服务,使补丁生效。 当前补丁只支持离线重启。 登录MRS管理控制台或FusionInsight Manager界面。 重启相关组件。 在MRS控制台,选择“现有集群”,单击集群名称进入集群详情页面。单击“组件管理”,选择需要重启的服务,进入服务
对系统的影响 未同步的用户无法登录Ranager原生页面,无法通过Ranger为未同步的用户设置权限策略,可能导致未同步用户无法访问被Ranger权限控制的服务。 可能原因 RangerAdmin实例状态异常。 UserSync实例状态异常。 Ldap服务异常。 处理步骤 UserSync状态异常。
SparkSQL权限管理架构图 SparkSQL还提供了列权限和视图权限,以满足用户不同场景的需求。 列权限介绍 SparkSQL权限控制由元数据权限控制和HDFS ACL权限控制两部分组成。Hive MetaStore会将表权限自动同步到HDFS ACL中时,不会同步列级别的权限。也就是说,当用
提供两种重启方式,请根据业务自行选择重启方式: 滚动重启:影响小,耗时长。 离线重启:会断服,耗时短。 登录MRS控制台或FusionInsight Manager界面。 重启相关组件。 在MRS控制台,选择“现有集群”,单击集群名称进入集群详情页面。单击“组件管理”,选择需要重启的服务,进入服务
检测Yarn内存使用情况 配置场景 针对所提交应用的内存使用无法预估的情况,可以通过修改服务端的配置项控制是否对内存使用进行检测。 如果不检测内存使用,Container会占用内存直到内存溢出;如果检测内存使用,当内存使用超过配置的内存大小时,相应的Container会被kill掉。
计费说明 MRS服务计费简单、易于预测。MRS支持按需计费,同时您也可以选择更经济的包年、包月的包周期计费方式。为了便于您便捷的下单购买,在控制台购买界面中已经为您计算好了整个MRS集群的价格,您可一键完成购买。 计费项 购买MRS集群的费用包含两个部分: MRS服务管理费用 您可以在“费用中心
SparkSQL权限管理架构图 SparkSQL还提供了列权限和视图权限,以满足用户不同场景的需求。 列权限介绍 SparkSQL权限控制由元数据权限控制和HDFS ACL权限控制两部分组成。Hive MetaStore会将表权限自动同步到HDFS ACL中时,不会同步列级别的权限。也就是说,当用
查看MRS集群详情失败 问题现象 在MRS管理控制台,单击集群名称,进入MRS集群详情页面失败。 原因分析 用户MRS集群选的是企业项目A(包含MRS FULLACCESS和ECS FULLACCESS权限)。 VPC选的是企业项目B。 安全组选的是企业项目A。 IAM这边加入的组没有任何权限设置。
ClickHouse分区设计 合理设置分区键,控制分区数在一千以内,分区字段使用整型。 分区part数与查询性能关系 图1 分区part数与查询性能关系图 分区建议 建议使用toYYYYMMDD(pt_d)作为分区键,pt_d是date类型。 如果业务场景需要做小时分区,使用pt
扩容MRS集群节点数据盘 随着业务增长,当集群节点的数据盘存储空间不足时,可以进行数据盘扩容操作。 本文为您介绍通过MRS控制台对数据盘进行扩容的相关操作。 当集群版本为MRS 3.1.0(须安装3.1.0.0.11及以上补丁)、MRS 3.1.5(须安装3.1.5.0.3及以上补丁)、MRS
如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 通过管理控制台启停节点角色
提供两种重启方式,请根据业务自行选择重启方式: 滚动重启:影响小,耗时长。 离线重启:会断服,耗时短。 登录MRS管理控制台或FusionInsight Manager界面。 重启相关组件。 在MRS控制台,选择“现有集群”,单击集群名称进入集群详情页面。单击“组件管理”,选择需要重启的服务,进入服务
提供两种重启方式,请根据业务自行选择重启方式: 滚动重启:影响小,耗时长。 离线重启:会断服,耗时短。 登录MRS控制台或FusionInsight Manager界面。 重启相关组件。 在MRS控制台,选择“现有集群”,单击集群名称进入集群详情页面。单击“组件管理”,选择需要重启的服务,进入服务
TTL简介 TTL能力适用于MRS 3.5.0及之后的版本。 TTL能力目前只支持分区级别的TTL。 TTL(Time To Live)能力可以控制Hudi表中数据的生存周期,也称为数据老化。 考虑到如下两个场景: 场景1:如果需要在流场景中去删除老化的分区,只能停止流任务执行DDL命令去删除分区。
该任务指导MRS集群管理员创建并设置Yarn的角色。Yarn角色可设置Yarn管理员权限以及Yarn队列资源管理。 如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关策略进行权限管理。具体操作可参考添加Yarn的Ranger访问权限策略。 前提条件 MRS集群管理员已明确业务需求。
Hive对接外部LDAP配置说明 应用场景 本章节介绍Hive如何对接外部LDAP并访问HiveServer。 为了管理集群中数据与资源的访问控制权限,在安全模式下,客户端应用程序在访问集群中的任意资源之前均需要通过身份认证,建立安全会话链接。 MRS通过KrbServer为所有组件
户正常访问集群的Manager管理界面。 在MRS管理控制台为MRS的Manager界面绑定了EIP后,通过弹性公网IP列表界面无法直接解绑EIP。 如需解绑,可通过调用EIP服务的相关API接口进行解绑: 登录EIP管理控制台,在EIP列表中查看并记录需要解绑的公网IP地址对应的ID信息。
基于策略的权限控制 Ranger组件通过PBAC(policy-based access control,基于策略的权限控制)方式进行权限管理,可对HDFS、Hive、HBase等组件进行更加细粒度的数据访问控制。 组件同时只支持一种权限控制机制,当组件启用Ranger权限控制策略后,通过FusionInsight
停止删除MRS集群作业 用户可以在管理控制台手动停止正在运行的MRS作业。 在作业执行完成后,若不需要再查看使用作业相关信息,可以选择删除作业。 停止MRS集群作业 Spark SQL作业不支持停止。作业停止后状态更新为“已终止”,并且该作业不可重新执行。 登录MRS管理控制台。 选择“现有集群”