检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务失败：主机PID使用率过高时，无法分配PID给新的业务进程，可能会导致作业运行失败。 可能原因 节点同时运行的进程过多，需要扩展pid_max值。
Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是随着代码的增加以及原MapRe
Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是随着代码的增加以及原MapRe
Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是随着代码的增加以及原MapRe
dirs获得数据存储目录。 其中配置文件路径请根据时间环境的集群版本修改，当磁盘有多块时，该配置项有多个，逗号间隔。 使用cd命令进入使用率较高的磁盘对应的3中获取的数据存储目录下。 使用du -sh *命令打印出当前topic的名称及大小。 由于Kafka的全局的数据保留时间默认是7天。部分topi
e-audit.log”，搜索运行的SQL，如图1的SQL为“show databases”，过滤线程名包含“HiveServer2-Handler-Pool”的两条记录，第一条记录为开始编译时间，第二条记录为结束编译时间。 根据SQL变慢前后的审计记录可判断是否是HiveServer编译变慢。
删除文件为高危操作，在执行操作前请务必确认对应文件是否不再需要。 对于所需的文件，执行fsck命令来获取块列表和块的顺序。 在fsck中给出的块序列表中，使用块ID搜索DataNode中的数据目录，并从DataNode下载相应的块。 按照序列以追加的方式写入所有这样的块文件，并构造成原始文件。 例如： File
删除文件为高危操作，在执行操作前请务必确认对应文件是否不再需要。 对于所需的文件，执行fsck命令来获取块列表和块的顺序。 在fsck中给出的块序列表中，使用块ID搜索DataNode中的数据目录，并从DataNode下载相应的块。 按照序列以追加的方式写入所有这样的块文件，并构造成原始文件。 例如： File
java:858) 回答 出现该问题的主要原因为RegionServer分配的内存过小、Region数量过大导致在运行过程中内存不足，服务端对客户端的响应过慢。在RegionServer的配置文件“hbase-site.xml”中需要调整如下对应的内存分配参数。 表1 RegionServer内存调整参数
on HBase表中的单行记录 操作场景 由于底层存储系统的原因，Hive并不能支持对单条表数据进行删除操作，但在Hive on HBase功能中，MRS Hive提供了对HBase表的单条数据的删除功能，通过特定的语法，Hive可以将自己的HBase表中符合条件的一条或者多条数据清除。
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 可能会导致任务运行时申请不到内存而失败。 可能原因 BE节点内存被其他进程占用过大导致机器剩余内存不够，或BE服务最大内存上限设置过大。
java:858) 回答 出现该问题的主要原因为RegionServer分配的内存过小、Region数量过大导致在运行过程中内存不足，服务端对客户端的响应过慢。在RegionServer的配置文件“hbase-site.xml”中需要调整如下对应的内存分配参数。 表1 RegionServer内存调整参数
replicated yet”错误。 图1 报错信息 回答 以下原因可能造成该报错： HDFS客户端向NameNode发送新Block申请，由于NameNode来不及处理导致超时。 DataNode增量上报太慢，NameNode无法及时分配新的Block。 出现该报错作业不会立即异常，在超过重
启动，只有如下日志： Presto的coordinator未真正启动即被终止了，不再打印其他日志，查看Presto的其他日志也未发现原因。 原因分析 Presto的健康检查脚本的端口检查逻辑中未做好端口的区分。 处理步骤 使用工具分别登录集群的Master节点执行如下操作。 执行如下命令编辑文件。
问题背景与现象 用户将消费完的数据存入数据库，发现数据与生产数据不一致，怀疑Kafka消费丢数据。 可能原因 业务代码原因 Kafka生产数据写入异常 Kafka消费数据异常 解决办法 Kafka排查： 通过consumer-groups.sh来观察写入和消费的offerset的变化情况（生产
generation表示正在发生rebalance。 可能原因 参数设置不合理。 原因分析 原因：由于参数设置不当，数据量大时数据处理时间过长，导致频繁发生balance，此时offset无法正常提交，导致重复消费数据。 原理：每次poll的数据处理完后才提交offset，如果poll数据后的处理时长超出了session
如何处理HetuEngine数据源丢失问题 问题 登录客户端查看HSConsole界面对接的数据源，数据源丢失。 回答 数据源丢失可能原因是DBservice主备倒换或数据库连接数使用率超过阈值造成。 用户可以登录FusionInsight Manager页面查看告警信息。 根据
apache.spark.sql.avro.IncompatibleSchemaException。 回答 针对avro格式表查询报错，根本原因是avro格式表schema不匹配导致，需要考虑增量和存量avro格式表查询两个场景： 增量avro格式表，需要创建表之前设置参数spark
除临时表的逻辑，建议将删除临时表的逻辑放到脚本的最后。假定删除临时表子任务的后续子任务执行失败，并且删除临时表的子任务之前的子任务用到了该临时表；当下一次以相同batchid执行该SQL脚本时，因为临时表在上一次执行时已被删除，则会导致删除临时表的子任务之前用到该临时表的子任务（
除临时表的逻辑，建议将删除临时表的逻辑放到脚本的最后。假定删除临时表子任务的后续子任务执行失败，并且删除临时表的子任务之前的子任务用到了该临时表；当下一次以相同batchid执行该SQL脚本时，因为临时表在上一次执行时已被删除，则会导致删除临时表的子任务之前用到该临时表的子任务（
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
