检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
系统默认为String类型的列做字典编码,但是如果字典值过多,会导致字典转换操作增加造成性能下降。 一般情况下,列的数值复杂度高于5万,可以被认定为高复杂度,则需要排除掉字典编码,该参数为可选参数。 说明: 在非字典列中,只支持String和Timestamp数据类型。
因时区转化的原因,此处时间有可能会与当地系统实际时间差异数个小时。比如在中国,此处的时间则会比当地时间晚8个小时。 单击编辑器右上角的,在弹出的确认界面中单击“提交”提交作业。 父主题: 使用Hue提交Oozie作业
Bundle Bundle流程构建在Coordinator流程之上,提供对多个Coordinator流程的统一调度、控制和管理功能。 Oozie主要特点: 支持分发、聚合、选择等工作流程模式。 与Hadoop生态系统各组件紧密结合。 流程变量支持参数化。 支持流程定时触发。
默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 在MRS管理控制台“现有集群” 列表,单击对应集群名称,进入集群信息页面。
HetuEngine交互查询引擎概述 HetuEngine能够支持多种数据源的快速联合查询并提供可视化的数据源配置、管理页面,用户可通过HSConsole界面快速添加数据源。 当前版本HetuEngine支持对接的数据源如下表所示。
采集MRS集群服务堆栈信息 为了满足实际业务的需求,集群管理员可以在Manager中采集指定角色或实例的堆栈信息,保存到本地目录,并支持下载。 采集内容包括: jstack栈信息。 jmap -histo堆统计信息。 jmap -dump堆信息快照。
基于角色的权限控制 MRS基于用户和角色的认证统一体系,遵从账户/角色RBAC(Role-Based Access Control)模型,实现通过角色进行权限管理,对用户进行批量授权管理,同时提供单点登录能力,统一了系统用户和组件用户的管理及认证。
在使用客户端前,需要先下载并更新客户端配置文件,确认Manager的主管理节点后才能使用客户端。 操作步骤 以客户端安装用户,登录安装HBase客户端的节点。 进入HBase客户端安装目录: 例如:cd /opt/client 执行以下命令配置环境变量。
Bundle Bundle流程构建在Coordinator流程之上,提供对多个Coordinator流程的统一调度、控制和管理功能。 Oozie主要特点: 支持分发、聚合、选择等工作流程模式。 与Hadoop生态系统各组件紧密结合。 流程变量支持参数化。 支持流程定时触发。
具体操作:在公有云管理控制台,选择“基本信息 > Yarn监控信息”进入Web界面,单击提交的MapReduce任务,在打开的页面中查看诊断信息,根据诊断信息再采取相应的措施。 或者也可以通过查看MapReduce日志了解应用运行情况,并根据日志信息调整应用程序。
对系统的影响 因为集群内使用文件并发修改命令会对集群性能造成较大负担,所以在集群空闲时使用文件并发操作命令。 前提条件 已安装HDFS客户端或者包括HDFS的客户端。例如安装目录为“/opt/client”。 各组件业务用户由MRS集群管理员根据业务需要创建。
/kafka-topics.sh:Kafka Topic管理工具 MRS 3.x之前版本:执行以下命令,管理Kafka主题。
使用Ranger时适配第三方JDK 配置场景 当使用Ranger作为spark sql的权限管理服务时,访问RangerAdmin需要使用集群中的证书。
普通版 功能说明 普通版支持集群基础操作如配置、管理和运维等,具体可以查看用户指南。
各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。普通模式不需要下载keytab文件及修改密码操作。 使用Yarn客户端 安装客户端。 MRS 3.x之前版本请参考安装客户端章节。
对系统的影响 因为集群内使用文件并发修改命令会对集群性能造成较大负担,所以在集群空闲时使用文件并发操作命令。 前提条件 已安装HDFS客户端或者包括HDFS的客户端。例如安装目录为“/opt/client”。 各组件业务用户由MRS集群管理员根据业务需要创建。
Kafka集群使用自带的ACL进行权限访问控制,且集群的Kafka服务也开启Ranger鉴权控制时,该组件所有鉴权将由Ranger统一管理,原鉴权插件设置的权限将会失效,导致ACL权限授权未生效。可通过关闭Kafka的Ranger鉴权并重启Kafka服务来处理该问题。
对系统的影响 无法同步集群中HBase的数据到备集群,导致主备集群数据不一致。 可能原因 备集群HBase服务异常。 网络异常。 处理步骤 观察告警是否自动修复。 登录MRS集群详情页面,选择“告警管理”。
选择“系统 > 对接 > Syslog”。 开启“Syslog服务”开关。 MRS 3.x之前版本 登录MRS Manager,单击“系统设置”。 在“配置”区域“监控和告警配置”下,开启“Syslog配置”开关。 根据表1所示的说明填写北向参数。
项目编号获取步骤如下: 登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 多项目时,展开“所属区域”,从“项目ID”列获取子项目ID。