检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示,客户端与服务端的配置相同。要使用表权限功能,需要在服务端和客户端添加如下配置。
日志聚合功能是指:当应用在Yarn上执行完成后,NodeManager将本节点中所有container的日志聚合到HDFS中,并删除本地日志。详情请参见配置Container日志聚合功能。
巡检授权 MRS为您提供巡检集群功能,帮助您检查集群的基础信息,包括容量、资源、版本、缺陷等,帮助您更好的维护集群。当您需要对集群进行巡检时,请通过该功能授权后,联系运维人员进行巡检并获取巡检结果。
若为“false”,表示当前Hive已开启MetaStore功能;若为“true”,表示当前Hive已开启LakeFormation,未使用MetaStore功能。 父主题: FlinkSQL Connector开发规范
答: 目前仅MRS 1.9.x及之后版本支持OBS加密桶功能,MRS 1.8.x及之前版本不支持OBS加密桶功能。 如需使用OBS加密桶请使用MRS 1.9.x及之后版本集群。 父主题: 周边生态对接类
Manager还提供了多实例的功能,使用户在资源控制和业务隔离的场景中可以独立使用HBase、Hive和Spark组件。多实例功能默认关闭,可以选择手动启用。
配置Hive支持创建超过32个角色 操作场景 因为MRS操作系统用户组个数限制,导致Hive不能创建超过32个角色,开启此功能后,Hive将支持创建超过32个角色。 开启本功能并对表库等授权后,对表库目录具有相同权限的角色将会用“|”合并。
开启此功能后,仅有Hive管理员可以创建库和在default库中建表,其他用户需通过Hive管理员授权才可使用库。 开启本功能之后,会限制普通用户新建库和在default库新建表。请充分考虑实际应用场景,再决定是否做出调整。
前提条件 Hive、HDFS组件功能正常 HDFS精细化监控功能正常 操作步骤 登录FusionInsight Manager。 通过“集群 > 待操作集群的名称 > 服务 > HDFS > 资源 ”,进入HDFS精细化页面。
KafkaSpout主要完成Storm从Kafka中读取数据的功能;KafkaBolt主要完成Storm向Kafka中写入数据的功能。
前提条件 Hive、HDFS组件功能正常 HDFS精细化监控功能正常 操作步骤 登录FusionInsight Manager。 通过“集群 > 服务 > HDFS > 资源 ”,进入HDFS精细化页面。 找到“资源使用(按目录)”监控项,单击该监控项左上角第一个图标。
KafkaSpout主要完成Storm从Kafka中读取数据的功能;KafkaBolt主要完成Storm向Kafka中写入数据的功能。
KafkaSpout主要完成Storm从Kafka中读取数据的功能;KafkaBolt主要完成Storm向Kafka中写入数据的功能。
新创建的主题请参考向主题添加订阅向该主题添加订阅者才能接收发布至主题的消息。 开启 安装UniAgent 为MRS集群节点安装统一数据采集Agent(UniAgent),完成统一插件生命周期管理,并为AOM提供指令下发功能,如脚本下发和执行。
如需运行长任务,建议使用keytab方式完成鉴权功能。
如需运行长任务,建议使用keytab方式完成鉴权功能。
Geospatial函数 以ST_前缀开头的HetuEngine Geospatial功能支持SQL、MM规范,并符合Open Geospatial Consortium(OGC)的OpenGIS规范。
删除Hive on HBase表中的单行记录 操作场景 由于底层存储系统的原因,Hive并不能支持对单条表数据进行删除操作,但在Hive on HBase功能中,MRS Hive提供了对HBase表的单条数据的删除功能,通过特定的语法,Hive可以将自己的HBase表中符合条件的一条或者多条数据清除
回答 因为ResourceManager HA已启用,但是Work-preserving RM restart功能未启用。
使用HDFS Colocation存储Hive表 操作场景 HDFS Colocation(同分布)是HDFS提供的数据分布控制功能,利用HDFS Colocation接口,可以将存在关联关系或者可能进行关联操作的数据存放在相同的存储节点上。