检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
定位信息 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 Threshold 产生告警的阈值。 对系统的影响 RegionServer RPC读队列数超过阈值,请求队列堆积会导致读取请求的响应时间增加,对于时
有设置的目录中,一般会是在不同的设备中。为保证磁盘IO负载均衡,需要提供几个路径且每个路径都对应一个单独的磁盘。应用程序的本地化后的日志目录存在于相对路径/application_%{appid}中。单独容器的日志目录,即container_{$contid},是该路径下的子目录
(默认是3个)同时故障时,存在小概率数据丢失的现象。对数据可靠性要求高的场景请慎重配置。 本章节适用于MRS 3.x及之后版本。 操作步骤 参数入口: 在FusionInsight Manager系统中,选择“集群 > 待操作集群的名称 > 服务 > HBase > 配置”,单击
概率数据丢失的现象。对数据可靠性要求高的场景请慎重配置。 操作步骤 参数入口: 在FusionInsight Manager系统中,选择“集群 > 服务 > HBase > 配置”,单击“全部配置”。在搜索框中输入参数名称,并进行修改。 表1 提升连续Put场景性能的参数 参数 描述
r节点数量,即不支持扩缩容Master节点。API的调用方法请参见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID,请参考获取项目ID获取。 已获取集群ID,即创建集群成功后返回结果中的“cluster_id” 或参考获取集群ID获取。
配置场景 在配置了HA的HDFS集群中,存在一个主NameNode和一个备NameNode。主NameNode处理所有的客户端请求,备NameNode保持最新的元数据信息和块位置信息。但是在这种架构存在一个缺点:主NameNode会成为客户端请求处理的瓶颈,在请求繁忙的集群中表现更为明显。
配置场景 在配置了HA的HDFS集群中,存在一个主NameNode和一个备NameNode。主NameNode处理所有的客户端请求,备NameNode保持最新的元数据信息和块位置信息。但是在这种架构存在一个缺点:主NameNode会成为客户端请求处理的瓶颈,在请求繁忙的集群中表现更为明显。
实时入湖都是需要分钟内或者分钟级的高性能入湖,索引的选择会影响到写Hudi表的性能。在性能方面各个索引的区别如下: Bucket索引 优点:写入过程中对主键进行hash分桶写入,性能比较高,不受表的数据量限制。Flink和Spark引擎都支持,Flink和Spark引擎可以实现交叉混写同一张表。
t模式的拦截逻辑是在SQL编译阶段完成的,该模式优点是拦截效率高,缺点是查询和写入分区所对应的表相同,分区不同时也会被拦截。 strict模式是按照分区进行拦截的,即对提交的SQL任务判断是否存在查询的分区和写入的分区相同,如果存在就进行拦截,否则不拦截。strict模式的拦截逻
如何查询MRS节点的启动时间? 在MRS服务管理控制台中单击集群名称,进入集群详情页面。 在集群节点管理页面中,查看具体节点IP地址信息。 登录当前节点,执行如下命令查询节点启动时间。 date -d "$(awk -F. '{print $1}' /proc/uptime) second
MRS集群内节点的操作系统是什么? 问: MRS集群内节点的操作系统是什么? 答: 不同版本的集群对应的主机操作系统不同,具体对应关系如表1所示。 表1 MRS集群版本与主机操作系统对应关系 MRS集群版本 x86计算 鲲鹏计算(ARM) MRS 3.2.0-LTS.1 EulerOS
MRS集群内节点的sudo log能否清理? 问: MRS集群内节点上的sudo log能否清理? 答: MRS集群内节点上的sudo log文件是omm用户的操作记录,以方便问题的定位,用户可以清理。 因为日志占用了一部分存储空间,建议管理员清除比较久远的操作日志释放资源空间。
MRS节点访问OBS报错408,怎么办? 答: MRS节点访问OBS报错408时,用户需要更换OBS域名。 修改OBS域名为myhuaweicloud.com后缀的域名即可。 父主题: 作业管理类
Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。
~+∞”分为五个Region。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testMultiSplit方法中。 public void testMultiSplit() { LOG.info("Entering
存储策略定义。HDFS文件存储在多种等级的存储介质中,有不同的副本数。本特性可以手工设置HDFS目录的存储策略,或者根据HDSF文件最近访问时间和最近修改时间,自动调整文件存储策略、修改文件副本数、移动文件所在目录、自动删除文件,以便充分利用存储的性能和容量。 MR引擎。用户执行Hive
问题背景与现象 HDFS的DataNode数据分布不均匀,在某节点上磁盘使用率很高,甚至达到100%,其他节点空闲很多。 原因分析 客户端安装在该节点,根据HDFS数据副本机制,第一个副本会存放在本地机器,最终导致节点磁盘被占满,而其他节点空闲很多。 解决办法 针对已有不平衡的数据,执行balance脚本均衡数据。
证分片数据的高可靠性,以及计算的高可靠性。 数据分布设计 Shard数据分片均匀分布 建议用户的数据均匀分布到集群中的多个shard分片,如图1所示有3个分片。 假如有30 GB数据需要写入到集群中,需要将30 GB数据均匀切分后分别放到shard-1、shard-2和shard
ClickHouse是面向联机分析处理的列式数据库,支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。 ClickHouse的设计优点: 数据压缩比高 多核并行计算 向量化计算引擎 支持嵌套数据结构 支持稀疏索引 支持数据Insert和Update
在“主页”选择所需要操作的集群的图表区的右上角,选择一个时间范围获取监控数据,例如“1周”。 默认为实时数据,无法导出。单击可以自定义监控数据时间范围。 在图表区的右上角,单击,在弹出菜单中选择“导出” 导出指定监控项数据 在“主页”选择所需要操作的集群的图表区任意一个监控报表窗格的右上角,单击。