检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用deleteall命令删除大量znode时偶现报错“Node does not exist” 问题 客户端连接非Leader实例，使用deleteall命令删除大量znode时，报错Node does not exist，但是stat命令能够获取到node状态。 回答 由于网
动态分区插入场景内存优化 操作场景 SparkSQL在往动态分区表中插入数据时，分区数越多，单个Task生成的HDFS文件越多，则元数据占用的内存也越多。这就导致程序GC（Gabage Collection）严重，甚至发生OOM（Out of Memory）。 经测试证明：102
任务增量步进，与memoryStep共同决定内存调整量 不能为空且大于零 memoryStep 内存增量步进，在"yarn.app.mapreduce.am.resource.mb"配置的基础上对内存向上调整 不能为空且大于零，单位：MB minMemory 内存自动调整下限，如果调整后的内存不大于该值，仍保持"yarn
使用Hcatalog方式同步Hive和MySQL之间的数据，timestamp和data类型字段会报错 问题 使用Hcatalog方式同步Hive和MySQL之间的数据，timestamp和data类型字段会报错： 回答 调整Sqoop源码包中的代码，将timestamp强制转换类型和Hive保持一致。
Flink客户端执行命令报错“Error while parsing YAML configuration file : security.kerberos.login.keytab” 问题背景与现象 客户端安装成功，执行客户端命令例如yarn-session.sh时报错，提示如下：
有限内存并不意味着内存无限小，它只是在内存不足于放下大于内存可用总量几倍的数据时，通过利用磁盘来做辅助从而确保查询依然稳定执行，但依然有一些数据是必须留在内存的，如在做涉及到Join的查询时，对于当前用于Join的相同key的数据还是需要放在内存中，如果该数据量较大而内存较小依
有限内存并不意味着内存无限小，它只是在内存不足于放下大于内存可用总量几倍的数据时，通过利用磁盘来做辅助从而确保查询依然稳定执行，但依然有一些数据是必须留在内存的，如在做涉及到Join的查询时，对于当前用于Join的相同key的数据还是需要放在内存中，如果该数据量较大而内存较小依
并发较高，有可能会导致Executor内存不足，导致占用CPU较高、Executor进程OOM等问题。 解决步骤 通过root用户登录Master1或Master2其中任意一节点，执行以下命令切换到omm用户。 su - omm 执行以下命令，修改“catalina.sh”脚本，搜索“JAVA_OPTS”
驱动包（例mysql驱动包mysql-connector-java-5.1.47.jar），如果没有请参考Sqoop1.4.7适配MRS 3.x集群章节中的步骤3下载对应mysql包。 sqoop export（HDFS到MySQL） 登录客户端所在节点。 执行如下命令初始化环境变量。
检测Yarn内存使用情况 配置场景 针对所提交应用的内存使用无法预估的情况，可以通过修改服务端的配置项控制是否对内存使用进行检测。 若不检测内存使用，Container会占用内存直到内存溢出；若检测内存使用，当内存使用超过配置的内存大小时，相应的Container会被kill掉。
检测Yarn内存使用情况 配置场景 针对所提交应用的内存使用无法预估的情况，可以通过修改服务端的配置项控制是否对内存使用进行检测。 如果不检测内存使用，Container会占用内存直到内存溢出；如果检测内存使用，当内存使用超过配置的内存大小时，相应的Container会被kill掉。
SQL可以将表cache到内存中，并且使用压缩存储来尽量减少内存压力。通过将表cache，查询可以直接从内存中读取数据，从而减少读取磁盘带来的内存开销。 但需要注意的是，被cache的表会占用executor的内存。尽管在Spark SQL采用压缩存储的方式来尽量减少内存开销、缓解GC压力
连接postgresql或者gaussdb时报错 问题 连接postgresql或者gaussdb时报错。 回答 场景一：（import场景）使用sqoop import命令抽取开源Postgre到MRS HDFS或Hive等。 问题现象： 使用sqoop命令查询postgre表可以，但是执行sqoop
任务增量步进，与memoryStep共同决定内存调整量。 不能为空且大于零。 memoryStep 内存增量步进，在“yarn.app.mapreduce.am.resource.mb”配置的基础上对内存向上调整。 不能为空且大于零，单位：MB。 minMemory 内存自动调整下限，若调整后的内存不大于该值，仍保持“yarn
Flink客户端执行命令报错“Error while parsing YAML configuration file : security.kerberos.login.principal:pippo” 问题背景与现象 客户端安装成功，执行客户端命令例如yarn-session.sh时报错，提示如下：
ALM-12018 内存使用率超过阈值 告警解释 系统每30秒周期性检测内存使用率，并把实际内存使用率和阈值相比较。内存使用率默认提供一个阈值范围。当检测到内存使用率超出阈值范围时产生该告警。 平滑次数为1，主机内存使用率小于或等于阈值时，告警恢复；平滑次数大于1，主机内存使用率小于或等于阈值的90%时，告警恢复。
务器的总物理RAM量的比例。如服务器物理内存为10G，该值设置为0.9，则ClickHouse服务在当前服务器上可用内存为10G* 0.9 = 9G，如果参数设置为0，则表示不限制，那么ClickHouse服务可以使用服务器的所有物理内存。该参数最多有效位为小数点后两位。 父主题：
更多参数介绍请参见Sqoop常用命令及参数介绍。 表1 参数说明 参数 说明 --connect 指定JDBC连接的URL，格式为：jdbc:mysql://MySQL数据库IP地址:MySQL的端口/数据库名称。 --username 连接MySQL数据库的用户名。 -password
使用omm用户登录告警的FE节点后台，执行"top"查看进程使用内存情况，找到占用较高的内存的进程，检查是否是本服务的进程，是否合理。 是，执行3 否，对此进程进行隔离、关闭或调整内存大小，并观察机器内存是否被释放出。 重启受影响的服务或实例，观察界面告警是否清除。 是，处理完毕。
执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出 问题 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出，日志内容如下。 16/04/19 15:56:22 ERROR
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
