检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager创建恢复DBService任务。只支持创建任务手动恢复数据。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据,建议手动备份最新管理数据后,再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的DBService数据。 MRS集群中默认使用DBService保存
在具备OBS资源的访问权限后,MRS集群内相关组件可通过客户端访问对应文件资源。 各组件访问OBS配置说明可参考如下内容: MRS集群服务对接OBS示例 MRS集群服务对接OBS示例 视频介绍 基于Guardian服务的存算分离配置流程 创建MRS集群。 MRS集群内需包含Guardia
当业务正常时需要恢复ClickHouse元数据,建议手动备份最新ClickHouse元数据后,再执行恢复ClickHouse元数据操作。否则会丢失从备份时刻到恢复时刻之间的ClickHouse元数据。 ClickHouse元数据恢复和业务数据恢复不能同时进行操作,否则会导致业务数据恢复失败。建议元数据恢复完成后再进行业务数据恢复。
Manager创建备份IoTDB任务并备份数据。支持创建任务自动或手动备份数据。 前提条件 目前IoTDB仅支持备份业务数据到远端HDFS中,且需满足以下条件: 准备一个用于备份数据的备集群,认证模式需要与主集群相同。 若IoTDB所在集群为普通模式,则不支持备份业务数据到安全模式集群的HDFS中。 如
支持创建任务手动恢复数据。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据,建议手动备份最新管理数据后,再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的IoTDB数据。 建议一个恢复任务只恢复一个组件的元数据,避免因停止某个服务或
在“备份配置”指定需要备份的数据。 支持备份元数据和业务数据。 各组件不同数据的备份任务操作请参考备份恢复MRS集群数据。 单击“确定”保存。 在备份任务列表,可以查看刚创建的备份任务。 在指定的备份任务“操作”列,选择“更多 > 即时备份”,可以立即运行备份任务。 创建元数据备份任务(MRS 2.x及之前版本)
配置LakeFormation数据连接 LakeFormation概述 配置LakeFormation数据连接前准备 创建集群时配置LakeFormation数据连接 父主题: 管理MRS集群元数据
如何重置MRS Kafka数据? 删除Kafka topic信息即重置Kafka数据,具体命令请参考: 删除topic:kafka-topics.sh --delete --zookeeper ZooKeeper集群业务IP:2181/kafka --topic topicname
catalog_sales; 图4 源端集群数据记录 图5 目的端集群数据记录 (可选)如果源端集群中有新增数据需要定期将新增数据迁移至目的端集群,则根据数据新增方式进行不同方式的迁移。配置定期任务增量迁移数据,直到所有业务迁移至目的端集群。 Hive表数据修改、未新增删除表、未修改已有表的数据结构:此时H
运行应用和作业,并存放数据。在大数据集群上可以存在多个资源集合来支持多个用户的不同需求。 对此,MRS企业级大数据集群提供了完整的企业级大数据多租户解决方案。 MRS多租户介绍: MRS集群拥有的不同资源和服务支持多个组织、部门或应用共享使用。集群提供了一个逻辑实体来统一使用不同
”,委托成功创建。 步骤二:为MRS集群配置委托 配置存算分离支持在新建集群中配置委托实现,也可以通过为已有集群绑定委托实现。本示例以为已有集群配置委托为例介绍。 登录MRS控制台,在导航栏选择“现有集群”。 单击集群名称,进入集群详情页面。 在集群详情页的“概览”页签,单击“I
MRS集群用户认证策略 大数据平台用户需要对用户进行身份认证,防止不合法用户访问集群。安全模式或者普通模式的集群均提供认证能力。 安全模式 安全模式的集群统一使用Kerberos认证协议进行安全认证。Kerberos协议支持客户端与服务端进行相互认证,提高了安全性,可有效消除使用
手动备份数据。 前提条件 如果数据要备份至远端HDFS中,需满足以下条件: 准备一个用于备份数据的备集群,认证模式需要与主集群相同。 如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置MRS集群间互信。如
配置HDFS DataNode数据均衡 操作场景 本章节适用于MRS 3.x及后续版本。 HDFS集群可能出现DataNode节点间磁盘利用率不平衡的情况,比如集群中添加新数据节点的场景。如果HDFS出现数据不平衡的状况,可能导致多种问题,比如MapReduce应用程序无法很好地利用本
重要(MRS 3.3.1及之后版本) 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 OMS数据库主备不同步会导致主数据库上的数据无法正常同步至备数据库,在告
ervice数据库默认用户及初始密码。 Hive元数据存放在外部的关系型数据库存储时,请通过如下步骤获取信息: 集群详情页的“数据连接”右侧单击“单击管理”。 在弹出页面中查看“数据连接ID”。 在MRS控制台,单击“数据连接”。 在数据连接列表中根据集群所关联的数据连接ID查找对应数据连接。
修改MRS集群数据库用户密码 修改OMS数据库管理员密码 修改OMS数据库访问用户密码 修改MRS集群组件数据库用户密码 重置MRS集群组件数据库用户密码 重置DBService数据库omm用户密码 修改DBService数据库compdbuser用户密码 父主题: MRS集群安全配置
扩容MRS集群节点数据盘 随着业务增长,当集群节点的数据盘存储空间不足时,可以进行数据盘扩容操作。 本文为您介绍通过MRS控制台对数据盘进行扩容的相关操作。 当集群版本为MRS 3.1.0(须安装3.1.0.0.11及以上补丁)、MRS 3.1.5(须安装3.1.5.0.3及以上补丁)、MRS
MRS集群Manager简介 Manager概述 MRS为用户提供海量数据的管理及分析功能,快速从结构化和非结构化的海量数据中挖掘您所需要的价值数据。开源组件结构复杂,安装、配置、管理过程费时费力,使用Manager将为您提供企业级的集群的统一管理平台。 提供集群状态的监控功能,您能快速掌握服务及主机的运行状态。
输出目录 数据导入到Hive里存储的保存目录。 Map数 配置数据操作的MapReduce任务中同时启动的map数量。不可与“Map数据块大小”同时配置。参数值必须小于或等于“3000”。 Map数据块大小 配置数据操作的MapReduce任务中启动map所处理的数据大小,单位为