检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的问题,例如SQL输入语句质量良莠不齐、SQL问题难定位、大SQL语句消耗资源过多等。 低质量的SQL会对数据分析平台系统带来不可预料的冲击,影响系统的性能或者平台稳定性。 SQL防御功能仅MRS 3.3.0及之后版本集群支持。 SQL防御功能介绍 MRS在主力SQL引擎(Hiv
管理TTL策略 命令功能 开启TTL后,使用此命令添加/更新/删除/清空TTL策略。 命令格式 添加TTL策略: call ttl_policy_save(table => "[table]", path => "[path]", spec => "[spec]", level =>
问等相关组件的权限时,需由admin(Manager管理员)用户进行授权,给提交作业用户赋予相关组件权限。 使用admin用户登录集群Manager界面。 参考管理MRS集群角色内容,增加用户具体需要的组件权限的角色。 参考管理MRS集群用户组修改提交作业用户所属的用户组,将新增的组件角色加入到该用户组中。
V1.1 作业管理接口(废弃) 新增作业并执行(废弃) 查询作业exe对象列表(废弃) 查询作业exe对象详情(废弃) 删除作业执行对象(废弃) 父主题: 历史API
管理CDL ENV变量 操作场景 如果需要将数据抓取至Hudi或者从Hudi抓取数据时,请执行该章节操作创建Hudi环境变量并进行管理。 前提条件 开启Kerberos认证的集群需已参考CDL用户权限管理创建具有CDL管理操作权限的用户。 操作步骤 使用具有CDL管理操作权限的用
资产识别与管理 通信安全授权 MRS服务通过管理控制台为用户发放、管理和使用大数据组件,大数据组件部署在用户的VPC内部,MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则,而开通相应的安全组规则需要获取用户授权,此授权过程称为通信安全授权。 通
CDL用户权限管理 操作场景 在使用CDL服务前,需集群管理员创建用户并指定其操作权限以满足业务使用需求。 CDL用户分为管理员用户和普通用户,系统默认的CDL管理员用户组为“cdladmin”,CDL普通用户对应用户组为“cdl”。 关联了“cdladmin”用户组的用户可以执行CDL的任何操作。
多租户资源管理 特性简介 现代企业的数据集群在向集中化和云化方向发展,企业级大数据集群需要满足: 不同用户在集群上运行不同类型的应用和作业(分析、查询、流处理等),同时存放不同类型和格式的数据。 部分用户(例如银行、政府单位等)对数据安全非常关注,不接受将自己的数据与其他用户放在一起。
客户端运行环境已安装1.7或1.8版本的JDK。 客户端机器的时间与Hadoop集群的时间要保持一致,时间差小于5分钟。 MRS集群的时间可通过登录主管理节点(集群管理IP地址所在节点)运行date命令查询。 下载MapReduce客户端程序到客户端机器中。 登录MRS Manager系统。 在浏览
服务管理 提供服务监控、服务操作向导以及服务配置,帮助用户对服务进行统一管理。 主机管理 提供主机监控、主机操作向导,帮助用户对主机进行统一管理。 告警管理 提供告警查询、告警处理指导功能。帮助用户及时发现产品故障及潜在隐患,并进行定位排除,以保证系统正常运行。 审计管理 提供
Privileges”:Hive数据表管理权限,可设置与管理已创建的表的数据操作权限。根据需要勾选相应database的权限,如果要精确到表,可以单击database名称,勾选相应表的权限。 Hive角色管理支持授予Hive管理员权限、访问表和视图的权限,不支持数据库的授权。 Hive管理员权限不支持管理HDFS的权限。
管理MRS角色实例组 MRS支持对多个实例组的管理功能,即用户可以按照具有相同硬件配置的节点或者其他原则将同一角色内的多个实例进行分组。 针对实例组进行的配置参数修改,将同时对组内所有的实例生效。 本操作适用于MRS 3.x及之后版本。 管理MRS角色实例组 登录MRS集群Man
管理MRS集群用户组 根据不同业务场景需要,管理员使用Manager创建并管理不同用户组。用户组通过绑定角色获取操作权限,用户加入用户组后,可获得用户组具有的操作权限。用户组同时可以达到对用户进行分类并统一管理多个用户。 MRS 3.x及之后版本,Manager最大支持5000个用户组(包括系统内置用户组)。
解锁MRS集群LDAP管理账户 管理员在LDAP用户和管理账户被锁定时,需要在管理节点解锁集群LDAP用户“cn=pg_search_dn,ou=Users,dc=hadoop,dc=com”以及LDAP管理账户“cn=krbkdc,ou=Users,dc=hadoop,dc=com”和“cn=krbadmin
情请参考访问MRS集群Manager。 已添加关联了HDFS存储资源的租户。 管理租户目录 进入租户管理页面。 通过MRS管理控制台操作:在MRS管理控制台单击待操作的集群,在集群详情页,单击“租户管理”。 通过Manager操作(MRS 3.x及之后版本集群):在Manager页面单击“租户资源”。
管理Loader作业 操作场景 Loader页面支持创建、查看、编辑和删除作业。 本章节适用于MRS 3.x之前版本。 前提条件 已访问Loader页面,参见Loader页面介绍。 创建作业 访问Loader页面,单击“新建作业”。 在“基本信息”填写参数。 在“名称”填写一个作业的名称。
ClickHouse日志管理 日志级别、日志文件大小、日志文件数目的修改设置。 ClickHouse支持日志级别的动态调整。 登录FusionInsight Manager界面,访问“集群 > 服务 > ClickHouse > 配置 > 全部配置 > ClickHouseServer
表1 下载到远端节点配置参数 参数名称 样例 参数说明 主机IP x.x.x.x 远端节点的IP地址。 说明: 远端节点的平台类型需要与所下载客户端的平台类型一致,否则可能导致安装客户端失败。 主机端口 22 远端节点的主机端口。 登录用户名称 xxx 登录远端节点的用户名称。
例分配给它的资源量。如果超过,则将阻止新到达的查询,使其处于排队状态,甚至直接拒绝它。 资源组使用场景 通过资源组可以实现计算实例内的资源管理。对不同用户、不同查询分配不同的资源组,可以起到资源隔离的作用,避免单个用户或查询独占计算实例的资源,也能通过资源组之间的权重优先级配置保
删除资源池前需要先清除策略,请参见清除MRS租户队列配置。 通过管理控制台管理资源池 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在集群详情页,单击“租户管理”。 单击“资源池”页签。 在资源池列表指定资源池所在行的“操作”列,单击“修改”。