检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
run(DataXceiver.java:265) at java.lang.Thread.run(Thread.java:748) 回答 上述问题可能是因为网络内存枯竭而导致的。 问题的解决方案是根据实际场景适当增大网络设备的阈值级别。 例如: [root@xxxxx ~]# cat /proc/sy
true GC_OPTS HBase利用内存完成读写操作。提高HBase内存可以有效提高HBase性能。GC_OPTS主要需要调整HeapSize的大小和NewSize的大小。调整HeapSize大小的时候,建议将Xms和Xmx设置成相同的值,这样可以避免JVM动态调整Hea
滚动重启实例”,重启配置过期实例。 yarn.nodemanager.resource.memory-mb表示该节点上Yarn可使用的物理内存总量,在高负载情况下会与Presto互相挤占可用内存空间,请根据业务实际情况调小。 Yarn滚动重启过程中,在Yarn上运行的任务可能会因为重试次数过多导致业务异常,请在业务空闲期间重启服务。
HDFS客户端设置的内存上限(默认为128MB)。可以通过修改“<客户端安装路径>/HDFS/component_env”中的“CLIENT_GC_OPTS”来修改HDFS客户端的内存上限。例如,需要设置该内存上限为1GB,则设置: CLIENT_GC_OPTS="-Xmx1G"
设置了HDFS存储目录的磁盘空间配额,CarbonData为什么会发生异常? 问题 设置了HDFS存储目录的磁盘空间配额,CarbonData为什么会发生异常。 回答 创建、加载、更新表或进行其他操作时,数据会被写入HDFS。若HDFS目录的磁盘空间配额不足,则操作失败并发生以下异常。
Impala服务的数据一般是存储在HDFS或者OBS(对象存储服务)中,无需直接使用本地节点的磁盘。 仅Impalad实例在业务查询执行过程中由于内存空间不足,才需要溢写到磁盘(由--scratch_dirs指定)。 由于是非多副本存储的临时数据,不提供磁盘热插拔能力。 父主题: Impala常见问题
Impala服务的数据一般是存储在HDFS或者OBS(对象存储服务)中,无需直接使用本地节点的磁盘。 仅Impalad实例在业务查询执行过程中由于内存空间不足,才需要溢写到磁盘(由--scratch_dirs指定)。 由于是非多副本存储的临时数据,不提供磁盘热插拔能力。 父主题: Impala常见问题
condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 GC时间超出阈值,会影响到OMS主要进程的读写,可能导致任务执行变慢,甚至服务异常重启。 可能原因 该节点OMS主要进程内存使用率过大,或配置的内存不合理,导致进程GC频繁。 处理步骤 检查GC时间。 在FusionInsight
HDFS客户端设置的内存上限(默认为128MB)。可以通过修改“<客户端安装路径>/HDFS/component_env”中的“CLIENT_GC_OPTS”来修改HDFS客户端的内存上限。例如,需要设置该内存上限为1GB,则设置: CLIENT_GC_OPTS="-Xmx1G"
FTP端口 指定连接FTP服务器的端口。 是 FTP用户名 指定登录FTP服务器的用户名。 是 FTP密码 指定登录FTP服务器的密码。 是 保存路径 指定监控文件在FTP服务器保存的路径。 是 转储时间间隔(秒) 指定监控文件在FTP服务器保存的周期,单位为秒。配置完成后,系统
Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 GC时间超出阈值,会影响到Hive数据的读写,可能导致任务执行变慢,甚至服务异常重启。 可能原因 该节点Hive实例内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间 在FusionInsight
不合理的机架配置会导致集群的节点之间的负载(包括CPU、内存、磁盘、网络)不平衡,降低集群的可靠性,影响集群的稳定运行。所以在分配机架之前,需要进行全局的统筹,合理地设置机架。 机架分配策略 物理机架:主机所在的真实的机架。 逻辑机架:在FusionInsight Manager中给主机设置的机架名称。 策略 1:每个逻辑机架包含的主机个数基本一致。
<arg>:绑定到一个已经运行的Yarn session。 -j,--jar <arg>:设置用户jar包路径。 -jm,--jobManagerMemory <arg>:为JobManager设置内存。 -m,--jobmanager <arg>:要连接的JobManager的地址,
<arg>:绑定到一个已经运行的Yarn session。 -j,--jar <arg>:设置用户jar包路径。 -jm,--jobManagerMemory <arg>:为JobManager设置内存。 -m,--jobmanager <arg>:要连接的JobManager的地址,
io Master,另一个是调度文件系统操作的Alluxio Job Master。 Workers 负责管理用户可配置的本地资源(例如:内存、SDD、HDD),对底层存储进行数据操作。 Client Alluxio Client主要包括三种方式:Java API、Shell、HTTP
需要修改UserSync进程的GC内存默认为“-Xms1G -Xmx1G”,需要根据业务实际情况调整该参数值: 登录到MRS Manager界面,选择“集群 > 服务 > Ranger > 配置 > 全部配置 > UserSync(角色) > 系统”,修改参数“GC_OPTS”值。例如将内存修改为“-Xms2G
需要修改UserSync进程的GC内存默认为“-Xms1G -Xmx1G”,需要根据业务实际情况调整该参数值: 登录到MRS Manager界面,选择“集群 > 服务 > Ranger > 配置 > 全部配置 > UserSync(角色) > 系统”,修改参数“GC_OPTS”值。例如将内存修改为“-Xms2G
storage.size.in.mb”,则不需要配置该参数。如果此时也配置了该参数,那么这个内存的20%将用于工作内存“carbon.unsafe.working.memory.in.mb”,80%将用于排序存储内存“carbon.sort.inmemory.storage.size.in.mb”。
)。 什么时候会创建StoreFile:当HBase执行Flush时。 什么时候执行Flush:HBase写入数据首先会存在内存memstore,只有内存使用达到阈值或手动执行flush命令时会触发flush操作,将数据写入HDFS。 解决方法: 由于HBase连接机制,若想减小
导致的。 处理步骤 问题1: 对于数据量过大,需要调整executor的内存大小的,使用--executor-memory指定内存大小; 对于同时运行的task太多,主要看--executor-cores设置的vcore数量。 问题2: 需要在相应的task的日志里面查找异常原因。如果有OOM的情况,请参照问题1。