检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
么多空间。 如果参数值大于HDFS物理磁盘大小,实际最多使用全部的HDFS物理磁盘空间。 说明: 为了保证数据的可靠性,HDFS中每保存一个文件则自动生成1个备份文件,即默认共2个副本。HDFS存储空间表示所有副本文件在HDFS中占用的磁盘空间大小总和。例如“存储空间配额”设置为
为什么对decimal数据类型进行带过滤条件的查询时会出现异常输出? 问题 当对decimal数据类型进行带过滤条件的查询时,输出结果不正确。 例如, select * from carbon_table where num = 1234567890123456.22; 输出结果:
一块或多块独立的SSD硬盘。 磁盘吐出文件路径。 worker.config.properties/coordinator.config.properties max-spill-per-node 10GB Sum(每个节点可用空间) * 50%。 所有查询在单节点上磁盘吐出文件可用空间。 worker
服务参数配置如果使用旧的存储目录,需要更新为新目录。 更改NodeManager的存储目录以后,需要重新下载并安装客户端。 前提条件 在各个数据节点准备并安装好新磁盘,并格式化磁盘。 规划好新的目录路径,用于保存旧目录中的数据。 准备好MRS集群管理员用户admin。 操作步骤 MRS 3.x之前的版本集群执行以下操作:
在FusionInsight Manager首页,单击“主机”。 在“磁盘”列,检查ZooKeeper实例所在的各节点数据磁盘空间是否不足(使用率超过百分之80)。 是,执行21。 否,执行23。 参考ALM-12017 磁盘容量不足进行处理,对磁盘进行扩容。 在“运维 > 告警 > 告警”页签,查看该告警是否恢复。
或上报告警节点是否存在“慢盘故障”、“磁盘不可用”或“NameNode RPC处理平均时间超过阈值”告警。 是,执行6。 否,执行8。 参考HDFS服务的DataNode告警、“ALM-12033 慢盘故障”、“ALM-12063 磁盘不可用”或“ALM-14021 NameNode
Map<String,String> 参数解释: 磁盘类型限制,包含当前节点组所支持的磁盘类型。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 min_root_disk_size Integer 参数解释: 最小系统磁盘大小。 约束限制: 不涉及 取值范围: 不涉及 默认取值:
变更计费模式。详细介绍请参见变更计费模式概述。 计费项 MRS集群的计费项由MRS服务管理费用和IaaS基础设施资源费用(弹性云服务器,云硬盘)组成。如需了解每种计费项的计费因子、计费公式等详细信息,请参考计费项。 如需了解实际场景下的计费样例以及各计费项在不同计费模式下的费用计算过程,请参见计费样例。
例”的值是否持续上升: 是,执行4。 否,结束。 观察RegionServer所在主机的图表“磁盘IO利用率”的值是否超过90%: 是,磁盘IO已达到瓶颈,考虑减小写入速度或者扩容磁盘。 否,结束。 父主题: HBase性能调优
服务参数配置如果使用旧的存储目录,需要更新为新目录。 更改NodeManager的存储目录以后,需要重新下载并安装客户端。 前提条件 在各个数据节点准备并安装好新磁盘,并格式化磁盘。 规划好新的目录路径,用于保存旧目录中的数据。 准备好MRS集群管理员用户admin。 操作步骤 检查环境。 登录Manager,选择“集群
对Streaming调优,就必须使该三个部件的性能都更优化。 数据源调优 在实际的应用场景中,数据源为了保证数据的容错性,会将数据保存在本地磁盘中,而Streaming的计算结果全部在内存中完成,数据源很有可能成为流式系统的最大瓶颈点。 对Kafka的性能调优,有以下几个点: 使用Kafka-0
么多空间。 如果参数值大于HDFS物理磁盘大小,实际最多使用全部的HDFS物理磁盘空间。 说明: 为了保证数据的可靠性,HDFS中每保存一个文件则自动生成1个备份文件,即默认共2个副本。HDFS存储空间表示所有副本文件在HDFS中占用的磁盘空间大小总和。例如“存储空间配额”设置为
对Streaming调优,就必须使该三个部件的性能都合理化。 数据源调优 在实际的应用场景中,数据源为了保证数据的容错性,会将数据保存在本地磁盘中,而Streaming的计算结果全部在内存中完成,数据源很有可能成为流式系统的最大瓶颈点。 对Kafka的性能调优,有以下几个点: 使用Kafka-0
非HDFS数据残留导致数据分布不均衡 HDFS客户端安装在数据节点导致数据分布不均衡 节点内DataNode磁盘使用率不均衡 执行balance常见问题定位方法 HDFS显示磁盘空间不足,其实还有10%磁盘空间 使用普通集群Core节点上安装的HDFS客户端时报错“error creating DomainSocket”
件及作业情况实际调整。例如:默认三副本的情况下启用多路读,组件内存至少需要设置为已有的三倍。 磁盘IO负载高的情况下(业务高峰期磁盘整体IO使用率大于50%以上),开启多路读可能导致磁盘处理能力不足而性能劣化。 操作步骤 登录FusionInsight Manager页面。 选择“集群
清除。 是,处理完毕。 否,执行9。 检查磁盘空间是否不足。 在FusionInsight Manager的告警列表中,查看是否有“ALM-12017 磁盘容量不足”告警产生。 是,执行10。 否,执行13。 按“ALM-12017 磁盘容量不足”提供的步骤处理该故障。 等待5分
Master节点数据磁盘存储类别,目前支持SATA、SAS和SSD。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 masterDataVolumeSize Integer 参数解释: Master节点数据磁盘存储空间。为增大数据存储容量,创建集群时可同时添加磁盘。单位为GB。
1 副本向Leader请求同步数据的线程数,增大这个数值会增加副本的I/O并发度。 num.io.threads 8 Broker用来处理磁盘I/O的线程数目,这个线程数目建议至少等于硬盘的个数。 KAFKA_HEAP_OPTS -Xmx6G -Xms6G Kafka JVM堆内
CarbonData常见问题 为什么对decimal数据类型进行带过滤条件的查询时会出现异常输出? 如何避免对历史数据进行minor compaction? 如何在CarbonData数据加载时修改默认的组名? 为什么INSERT INTO CARBON TABLE失败? 为什么含转义字符的输入数据记录到Bad
告警”页签,查看该告警是否恢复。 是,处理完毕。 否,执行15。 检查磁盘状态。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 主机”。 在“磁盘”列,检查磁盘空间是否不足。 是,执行17。 否,执行19。 对磁盘进行扩容。 在“运维 > 告警 > 告警”页签,查看该告警是否恢复。