检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-45293 Ranger用户同步异常 本章节仅适用于MRS 3.3.1及之后版本。 告警解释 系统每5分钟周期性检测UserSync进程的用户同步情况,当存在同步异常时产生该告警。当用户同步正常时,告警恢复。 告警属性 告警ID 告警级别 是否可自动清除 45293 重要
检测Yarn内存使用情况 配置场景 针对所提交应用的内存使用无法预估的情况,可以通过修改服务端的配置项控制是否对内存使用进行检测。 如果不检测内存使用,Container会占用内存直到内存溢出;如果检测内存使用,当内存使用超过配置的内存大小时,相应的Container会被kill掉
运行clickhouse-springboot样例后,控制台显示部分运行结果如下: . ____ _ __ _ _ /\\ / ___'_ __ _ _(_)_ __ __ _ \ \ \ \ ( ( )\___ | '_ | '_|
loader-tool工具是异步接口,命令提交后其结果不会实时返回到控制台,因此对连接器的创建、更新、查询和删除等操作,以及对Loader作业的创建、更新、查询、删除、启动和停止等操作,其成功与否需要在Loader WebUI确认或通过查询server端日志确认。
IoTDB开源增强特性 IoTDB开源增强特性:可视化 可视化运维,包含安装、卸载、一键启动和停止、配置、客户端、监控、告警、健康检查、日志。 可视化权限管理,无需后台命令行操作,支持库表级别读写权限控制。 日志级别的可视化配置动态生效、可视化下载、可视化检索、审计日志等功能。 IoTDB
MRS Hive对接外部LDAP配置说明 应用场景 本章节介绍Hive如何对接外部LDAP并访问HiveServer。 为了管理集群中数据与资源的访问控制权限,在安全模式下,客户端应用程序在访问集群中的任意资源之前均需要通过身份认证,建立安全会话链接。 MRS通过KrbServer
简介 TTL能力适用于MRS 3.5.0及之后的版本。 TTL能力目前只支持分区级别的TTL。 TTL(Time To Live)能力可以控制Hudi表中数据的生存周期,也称为数据老化。考虑到如下两个场景: 场景1:如果需要在流场景中去删除老化的分区,只能停止流任务执行DDL命令去删除分区
创建Yarn角色 操作场景 该任务指导MRS集群管理员创建并设置Yarn的角色。Yarn角色可设置Yarn管理员权限以及Yarn队列资源管理。 如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关策略进行权限管理。具体操作可参考添加Yarn的Ranger访问权限策略
准备MRS应用开发用户 操作场景 开发用户用于运行样例工程。进行不同服务的组件开发时,需要赋予不同的用户权限。 操作步骤 登录FusionInsight Manager。 在FusionInsight Manager界面选择“系统 > 权限 > 角色 > 添加角色”。 填写角色的名称
切换MRS集群组件Ranger鉴权 新安装的已开启Kerberos认证的集群默认即安装了Ranger服务并启用了Ranger鉴权,用户可以通过组件的权限插件对组件资源的访问设置细粒度的安全访问策略。若不需使用Ranger进行鉴权,集群管理员可在服务页面手动停用Ranger鉴权,停用
SparkSQL用户权限介绍 SparkSQL权限 类似于Hive,SparkSQL也是建立在Hadoop上的数据仓库框架,提供类似SQL的结构化数据。 MRS提供用户、用户组和角色,集群中的各类权限需要先授予角色,然后将用户或者用户组与角色绑定。用户只有绑定角色或者加入绑定角色的用户组
准备MRS应用开发用户 操作场景 开发用户用于运行样例工程。进行不同服务的组件开发时,需要赋予不同的用户权限。 操作步骤 登录FusionInsight Manager。 在FusionInsight Manager界面选择“系统 > 权限 > 角色 > 添加角色”。 填写角色的名称
执行HDFS文件并发操作命令 操作场景 集群内并发修改文件和目录的权限及访问控制的工具。 本章节适用于MRS 3.x及后续版本。 对系统的影响 因为集群内使用文件并发修改命令会对集群性能造成较大负担,所以在集群空闲时使用文件并发操作命令。 前提条件 已安装HDFS客户端或者包括HDFS
MRS集群用户权限模型 基于角色的权限控制 MRS集群通过采用RBAC(role-based access control,基于角色的权限控制)方式对大数据系统进行权限管理,将系统中各组件零散的权限管理功能集中呈现和管理,对普通用户屏蔽掉了内部的权限管理细节,对管理员简化了权限管理的操作方法
执行HDFS文件并发操作命令 操作场景 集群内并发修改文件和目录的权限及访问控制的工具。 本章节适用于MRS 3.x及后续版本。 对系统的影响 因为集群内使用文件并发修改命令会对集群性能造成较大负担,所以在集群空闲时使用文件并发操作命令。 前提条件 已安装HDFS客户端或者包括HDFS
配置MapReduce任务推测执行 操作场景 当集群规模很大时(如几百上千台节点的集群),个别节点出现软硬件故障的概率会增大,并且会因此延长整个任务的执行时间(运行完成的任务会等待异常设备运行完成)。推测执行通过将一个task分给多台机器运行,取首先运行完成的节点。对于小集群,可以将该功能关闭
快速使用IoTDB IoTDB是针对时间序列数据收集、存储与分析一体化的数据管理引擎。它具有体量轻、性能高、易使用的特点,支持对接Hadoop与Spark生态,适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。 背景信息 假定某某集团旗下有3个生产线,每个生产线上有
配置MapReduce任务推测执行 操作场景 当集群规模很大时(如几百上千台节点的集群),个别节点出现软硬件故障的概率会增大,并且会因此延长整个任务的执行时间(运行完成的任务会等待异常设备运行完成)。推测执行通过将一个task分给多台机器运行,取首先运行完成的节点。对于小集群,可以将该功能关闭
添加Storm的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为Storm用户进行相关的权限设置。 前提条件 已安装Ranger服务且服务运行正常。 已创建用户需要配置权限的用户、用户组或Role。 页面已启用Ranger鉴权开关,该按钮控制是否启用Ranger
SparkSQL权限介绍 SparkSQL权限 类似于Hive,SparkSQL也是建立在Hadoop上的数据仓库框架,提供类似SQL的结构化数据。 MRS提供用户、用户组和角色,集群中的各类权限需要先授予角色,然后将用户或者用户组与角色绑定。用户只有绑定角色或者加入绑定角色的用户组