检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 重启集群组件步骤 进入MRS集群组件管理页面。 通过管理控制台操作:登录MRS管理控制台,单击集群名称进入集群详情页面,单击“组件管理”。 通过Manager操作(MRS 3.x及之后版本):登录Manager页面,选择“集群
配置MRS集群组件回收站目录清理策略 操作场景 在MRS 3.2.0-LTS.1及后续版本中,MRS集群内组件默认支持数据防误删策略,在基于OBS的Hadoop大数据系统中,客户可以兼容使用Hadoop FS原生的垃圾回收功能。 组件用户删除的文件数据并不会直接被删除,而是会保存
购买专属云MRS集群 本章节为您介绍如何在您的专属资源上创建一个MRS集群。 如果您希望MRS服务运行在隔离的专属区域,请您先申请专属计算集群,再创建专属云MRS集群。 了解和申请专属计算集群,请参见《专属计算集群用户指南》。 如果您希望MRS服务拥有独享的存储设备,请您在开通专
按需计费 集群名称 集群名称不允许重复。只能由字母、数字、中划线和下划线组成,并且长度为1~64个字符。 MRS_hbase 集群类型 提供几种集群类型: 分析集群 流式集群 混合集群 自定义 自定义 版本类型 提供以下版本类型: 普通版 LTS版 普通版 集群版本 MRS目前支持的版本。
Tableau访问MRS HetuEngine 约束与限制 已安装Tableau Desktop 2022.2版本。 适用于LTS版的MRS 3.1.2及以后版本集群。 步骤一:创建MRS集群和计算实例 创建MRS集群。 创建并购买一个包含HetuEngine组件的MRS集群,详情可参考创建MRS集群。
如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 在MRS管理控制台执行健康检查 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 启动健康检查。 在MRS管理控制台执行健康检查管理操作仅适用于MRS
删除MRS集群 一般在数据完成分析和存储后或集群异常无法提供服务时才执行集群删除或退订操作。当MRS集群部署失败时,集群会被自动删除或退订。 对于按需收费模式集群,如果作业执行结束后不需要集群, 可以删除MRS集群。集群删除或退订后不再产生费用。 对于包年包月模式集群无法执行删除操作,如果作业执行结束后不需要集群,
磁盘,有如下应用场景: 数据存储和计算分离,数据存储在OBS中,集群存储成本低,存储量不受限制,并且集群可以随时删除,但计算性能取决于OBS访问性能,相对HDFS有所下降,建议在数据计算不频繁场景下使用。 数据存储和计算不分离,数据存储在HDFS中,集群成本较高,计算性能高,但存
参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 作业名 产生告警的作业名称。 数据库名 产生告警的数据库名称。 Slot名 产生告警的数据库复制槽名称。 积压量 Slot数据积压情况。 对系统的影响 WAL日志在源端数据库不断积压,可能导致源端Postg
克隆MRS集群 当新建集群与某原有集群配置相同时,可使用克隆集群功能快速创建集群。 克隆MRS集群使用限制 已删除的集群仅支持删除3个月内的集群进行克隆。 克隆包周期集群时默认不自动续费。 磁盘类型为专属分布式存储的集群不允许克隆。 克隆时仅可以修改为更高集群版本,无法克隆创建历史版本集群。
Kafka与其他组件的关系 Kafka作为一个消息发布-订阅系统,为整个大数据平台多个子系统之间数据的传递提供了高速数据流转方式。 Kafka可以实时接受来自外部的消息,并提供给在线以及离线业务进行处理。 Kafka与其他组件的具体的关系如下图所示: 图1 与其他组件关系 父主题:
使用distcp命令跨集群复制HDFS数据 操作场景 distcp是一种在集群间或集群内部拷贝大量数据的工具。它利用MapReduce任务实现大量数据的分布式拷贝。 前提条件 已安装Yarn客户端或者包括Yarn的客户端。例如安装目录为“/opt/client”。 各组件业务用户由MRS集群管理
或按“天”。 目的端NameService名称:修改备集群的NameService名称。 目的端NameNode IP地址:修改备集群NameNode业务平面IP地址,支持主节点或备节点。 目的端路径:修改备集群保存备份数据的HDFS目录。不支持填写HDFS中的隐藏目录,例如快照
加载Hive数据 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从集群中加载数据。 样例代码 -- 从本地文件系统/opt/hive_examples_data/目录下将employee_info.txt加载进employees_info表中
MRS 3.1.5补丁说明 MRS 3.1.5.0.3补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.1.5.0.3 发布时间 2023-11-27 安装前处理 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 安装MRS 3.1.5.0.3补丁前,需要先安装MRS
建议使用Hive/Spark进行数据批量加工,FilkSQL进行数据增量加工。 数据入库 建议使用CDL(增量实时同步)和Loader(批量同步)工具进行数据同步,也可选择HDFS外表(CK集群只支持X86平台)用户自己写调度程序进行数据导入。 父主题: ClickHouse数据库开发
如果没有将元数据备份到第三方服务器,当集群主备管理节点同时故障且本地备份数据丢失时,若想要通过备份包恢复集群元数据则没有可用的备份包数据无法恢复。 可能原因 元数据未配置周期备份到第三方服务器任务。 处理步骤 查看元数据是否配置周期备份。 在FusionInsight Manager管理界面,选择“运维 > 告警
HBase数据操作 创建HBase索引进行数据查询 配置HBase数据压缩格式和编码 父主题: 使用HBase
延,提高访问速度。 集群名称 mrs_demo 待创建的MRS集群名称。 集群类型 自定义 根据实际业务需要选择待创建的MRS集群类型。“自定义”类型集群提供丰富的组件搭配,可自行选择对应版本MRS集群所支持的所有组件。 版本类型 LTS版 待创建的MRS集群版本类型,不同版本所包含的开源组件版本及功能特性可能不同。
添加GBase数据源 本章节适用于MRS 3.5.0及之后的版本。 HetuEngine支持配置GBase数据源实现对GBase数据源的接入与查询功能。本章节指导用户在集群的HSConsole界面添加GBase类型的JDBC数据源。 前提条件 数据源与HetuEngine集群节点网络互通。