检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理Doris租户 集群管理员通过FusionInsight Manager页面可以创建Doris租户。 创建Doris租户 登录FusionInsight Manager,单击“租户资源”。 在“租户资源管理”页面单击,打开添加租户的配置页面,参见表1为租户配置属性。 表1 租户参数介绍
Privileges”:Hive数据表管理权限,可设置与管理已创建的表的数据操作权限。根据需要勾选相应database的权限,如果要精确到表,可以单击database名称,勾选相应表的权限。 Hive角色管理支持授予Hive管理员权限、访问表和视图的权限,不支持数据库的授权。 Hive管理员权限不支持管理HDFS的权限。
的权限。 单击“确定”完成用户组创建。 管理用户组 登录Manager。 进入用户组管理页面: MRS 3.x及之后版本:选择“系统 > 权限 > 用户组”。 MRS 2.x及之前版本:单击“系统设置”,在“权限配置”区域,单击“用户组管理”。 在用户组列表中,根据实际需要对用户组执行以下操作。
下拉选项,在“时区”中选择“Asia/Shanghai”。 单击编辑器右上角的,设置定时任务执行的时间范围的起始值与结束值,然后单击“提交”提交作业。 因时区转化的原因,此处时间有可能会与当地系统实际时间差异数个小时。 父主题: 使用Hue提交Oozie作业
下拉选项,在“时区”中选择“Asia/Shanghai”。 单击编辑器右上角的,设置定时任务执行的时间范围的起始值与结束值,然后单击“提交”提交作业。 因时区转化的原因,此处时间有可能会与当地系统实际时间差异数个小时。 父主题: 使用Hue提交Oozie作业
WebUI,例如Google Chrome浏览器50版本。 对系统的影响 第一次访问Manager和Hue WebUI,需要在浏览器中添加站点信任以继续打开Hue WebUI。 前提条件 启用Kerberos认证时,MRS集群管理员已分配用户使用Hive的权限。具体操作请参见创建用户。
Manager管理开发指南 Manager应用开发简介 Manager应用开发流程 准备Manager应用开发环境 开发Manager应用 调测Manager应用 Manager应用开发常见问题
表2 日志级别 级别 描述 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作:
k节点。 Master节点:集群中的管理节点。分布式系统的Master进程和Manager以及数据库均部署在该节点;该类型节点不可扩容。该类型节点的处理能力决定了整个集群的管理上限,MRS服务支持将Master节点规格提高,以支持更大集群的管理。 Core节点:支持存储和计算两种
WebUI,例如Google Chrome浏览器。 对系统的影响 第一次访问Manager和Hue WebUI,需要在浏览器中添加站点信任以继续打开Hue WebUI。 前提条件 启用Kerberos认证时,MRS集群管理员已分配用户使用Hive的权限,具体操作请参见创建MRS
Yarn服务提供队列给用户使用,用户分配对应的系统资源给各队列使用。完成配置后,您可以单击“刷新队列”按钮或者重启Yarn服务使配置生效。 参数入口: MRS 3.x之前的版本集群执行以下操作: 用户在MRS控制台上,选择“租户管理 > 资源分布策略”。 参数说明以default
Manager基本原理 Manager功能 Manager是MRS的运维管理系统,为部署在集群内的服务提供统一的集群管理能力。 Manager支持大规模集群的性能监控、告警、用户管理、权限管理、审计、服务管理、健康检查、日志采集等功能。 Manager结构 Manager的整体逻辑架构如图1所示。
les/apps/subwf SSH任务 客户端安装目录/Oozie/oozie-client-*/examples/apps/ssh 定时任务 客户端安装目录/Oozie/oozie-client-*/examples/apps/cron 其他任务样例中已包含HDFS任务样例。
Yarn常用配置参数 队列资源分配 Yarn服务提供队列给用户使用,用户分配对应的系统资源给各队列使用。完成配置后,您可以单击“刷新队列”按钮或者重启Yarn服务使配置生效。 参数入口: 用户可在Manager系统中,选择“租户资源 > 动态资源计划 > 队列配置”。 参数说明以修改Su
提供主机监控、主机操作向导,帮助用户对主机进行统一管理。 告警管理 提供告警查询、告警处理指导功能。帮助用户及时发现产品故障及潜在隐患,并进行定位排除,以保证系统正常运行。 审计管理 提供审计日志查询及导出功能。帮助用户查阅所有用户活动及操作。 租户管理 提供统一租户管理平台。 系统设置 用户可以进行监控和告警配置管理、备份管理。
les/apps/subwf SSH任务 客户端安装目录/Oozie/oozie-client-*/examples/apps/ssh 定时任务 客户端安装目录/Oozie/oozie-client-*/examples/apps/cron 其他任务样例中已包含HDFS任务样例。
查看备份目录是否软连接到/opt/Bigdata/LocalBackup。 检查备份文件是否软链接到系统盘且系统盘空间是否足够。如果软链接到系统盘且系统盘空间不足,请执行步骤2。如果否,说明不是由于系统盘空间不足导致,请联系技术服务。 将历史备份数据移到数据盘的新目录中。 以root用户登录Master节点。
成本管理 随着上云企业越来越多,企业对用云成本问题也越发重视。使用MRS时,如何进行成本管理,减轻业务负担呢?本文将从成本构成、成本分配、成本分析和成本优化四个维度介绍成本管理,帮助您通过成本管理节约成本,在保障业务快速发展的同时获得最大成本收益。 成本构成 使用MRS集群时,成本主要包括两个方面:
实时任务接入 实时作业一般由Flink Sql或Sparkstreaming来完成,流式实时任务通常配置同步生成compaction计划,异步执行计划。 Flink SQL作业中sink端Hudi表相关配置如下: create table denza_hudi_sink ( $H
MRS管理控制台上提交作业异常处理 用户问题 MRS控制台作业管理提交作业“状态”为“已接受”,“执行结果”为“未定”,作业未成功提交到Yarn上,如下图所示: 原因分析 由于管理控制台的作业管理功能是由集群管理模块Executor来负责调度执行,因此作业未提交到Yarn上,根因