检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。 生产者(Producer)将消息发布到Kafka主题(Topic)
及之后的补丁版本中diskmgt服务会检测EVS磁盘(受diskmgt服务监控的磁盘)容量是否增加,如果有增加将则会进行该磁盘下分区(单个分区独占磁盘容量)容量和文件系统的扩容,达到自动扩充磁盘分区存储容量的能力。 安装完成后必须的手动操作 MRS 3.1.5.0.1版本的补丁安装/卸载完成后需要在FusionInsight
lang.ClassNotFoundException: org.apache.htrace.Trace 本章节仅适用于MRS 1.9.2版本集群。 问题现象 Sqoop任务运行成功,但HDFS中的CSV文件无内容。 原因分析 由于jar包冲突或者缺少相关jar包导致。 处理步骤
使用CDM服务迁移Hive数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hive集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 使用华为云CDM服务“场景迁移功能”可以一键式便捷地完成Hive数据的迁移。 本章节以通过华为云CDM服务
集群管理系统的数据,以便在系统故障时,恢复集群管理系统功能。 为进一步提供系统的可靠性,在将Manager、HBase上的数据备份到第三方服务器时,也需要通过手动备份。 节点可靠性 操作系统健康状态监控 周期采集操作系统硬件资源使用率数据,包括CPU、内存、硬盘、网络等资源的使用率状态。
群ID”和“虚拟私有云”名称。 登录ECS管理控制台,在搜索栏选择“名称”输入MRS集群ID,搜索MRS集群的所有节点。 在MRS集群节点的操作列选择“更多 > 网络设置 > 切换VPC”,切换节点VPC。 每个节点都需要切换VPC。 切换VPC时“虚拟私有云”、“子网”、“安全组”需要和集群初始的配置一致。
参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 DirName 产生告警的挂载目录名。 PartitionName 产生告警的设备分区名。 对系统的影响 造成服务数据无法写入,业务系统运行不正常。 可能原因
安装MRS集群补丁 当您通过如下途径获知集群版本补丁信息,请根据您的实际需求进行集群补丁升级操作。 通过消息中心服务推送的消息获知MapReduce服务发布了补丁信息。 在管理控制台中的MRS集群详细页面内,选择“补丁管理 > 集群组件补丁”,查看可支持安装的补丁信息。 安装补丁前准备
分析。 HetuEngine基本概念 HSBroker:HetuEngine的服务代理,用作用户租户管理校验,HetuEngine访问URL的获取等。 Coordinator:HetuEngine服务的资源协调者,负责SQL解析和优化等事务。 Worker:负责执行任务和处理数据。
使用CDM服务迁移Hadoop数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hadoop集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能
使用CDM服务迁移HBase数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云HBase集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能有差
准备HDFS应用运行环境 前提条件 1. 确认服务端HDFS组件已经安装,并正常运行。 2. 客户端运行环境已安装1.7或1.8版本的JDK 3. 获取客户端安装包MRS_Services_Client.tar 操作场景 在Linux上安装客户端。 操作步骤 客户端机器的时间与H
10/3.1.5.0.3及之后补丁版本 否:MRS 3.3.0之前版本 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 挂载目录名 产生告警的挂载目录名。 设备分区名 产生告警的设备分区名。
对接OBS场景中,spark-beeline登录后指定loaction到OBS建表失败 问题 对接OBS ECS/BMS集群,spark-beeline登录后,指定location到OBS建表报错失败。 图1 错误信息 回答 HDFS上ssl.jceks文件权限不足,导致建表失败。
要扩容数据盘磁盘容量。 如果购买MRS集群的计费模式为按需计费,扩容磁盘容量后MRS集群不支持转包周期。 本章节仅适用于MRS 3.1.0版本。 前提条件 ClickHouse集群和实例状态正常。 已评估好要扩容的ClickHouse节点数据盘磁盘容量大小。 扩容数据盘磁盘容量
2个以上副本。当某节点故障时,分片内其他主机节点上的副本可替代工作,保证服务能正常运行,提高集群的稳定性。 本章节仅适用于MRS 3.1.0版本。 集群配置 登录集群Manager页面,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”。 在“clickho
example-group --command-config ../config/consumer.properties 确保当前consumer在线消费。 确保配置文件consumer.properties中的group.id与命令中--group的参数均配置为待查询的group。 K
3对接时存在Jetty兼容性问题如何处理? 出于安全考虑,MRS对部分存在严重安全漏洞的开源三方组件进行了版本升级,导致开源Kylin与MRS 1.9.3版本进行对接时存在Jetty版本的兼容性问题。 按以下步骤进行操作可以完成部署和对接。 在一个ECS节点进行MRS Client安装,具体请参
存算分离类 没有/tmp目录权限导致执行访问OBS的作业报错 使用Hadoop客户端删除OBS上数据时报.Trash目录没有权限错误 由于MRS集群节点的NTP时间不同步导致集群访问OBS时鉴权失败
SELECT查询表数据 本章节主要介绍ClickHouse查询表数据的SQL基本语法和使用说明。 基本语法 SELECT [DISTINCT] expr_list [FROM [database_name.]table | (subquery) | table_function]