检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
处理步骤 打开操作系统审计日志，给审计日志增加记录kill命令的规则，即可定位是何进程发送的命令。 操作影响 打印审计日志，会消耗一定操作系统性能，经过分析仅影响不到1%。 打印审计日志，会占用一定磁盘空间。该日志打印量不大，MB级别，且默认配置有老化机制和检测磁盘剩余空间机制，不会占满磁盘。
hadoop distcp obs://OBS并行文件系统名称/hadoop1/teragen1 /tmp OBS文件系统打印大量日志可能导致读写性能受影响，可通过调整OBS客户端日志级别优化，日志调整方式如下： cd 客户端安装目录/Yarn/config vi log4j.properties
e程序中计算的数据可以来自多个数据源，如Local FileSystem、HDFS、数据库等。最常用的是HDFS，可以利用HDFS的高吞吐性能读取大规模的数据进行计算。同时在计算完成后，也可以将数据存储到HDFS。 HDFS和Spark的关系 通常，Spark中计算的数据可以来自多个数据源，如Local
时长过短，下游flink作业在重启或者异常中断阻塞的情况下，上游增量数据已经Clean掉了，flink需要从parquet文件读增量数据，性能会有下降；如果保留时间过长，会导致log里面的历史数据冗余存储。 具体可以按照下面的计算公式来保留2个小时的历史版本数据： 版本数设置为3
导致业务处理缓慢、超时、失败，可能会导致作业运行失败。 可能原因 告警阈值配置或者平滑次数配置不合理。 磁盘配置无法满足业务需求，磁盘IO性能达到上限。或业务处于高峰期，导致短期内磁盘IO读取等待时长达到上限。 处理步骤 检查告警阈值配置或者平滑次数配置是否合理。 根据实际磁盘I
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 GC次数超出阈值，会影响JobHistory2x进程运行的性能，甚至造成JobHistory2x进程不可用，进程不可用时仅会造成无法查询Spark任务历史执行记录。 可能原因 该节点JobHistor
值根据实际情况进行调整，然后单击“保存”，单击“确定”。 建议“-Xms”和“-Xmx”设置成相同的值，避免JVM动态调整堆内存大小时影响性能。 当Storm集群规模越大，Worker数量越多时，可以适当调大Nimbus的GC_OPTS参数，配置建议如下：Worker数量为20个
业务失败：磁盘IO利用率过高时，可能会导致业务处理缓慢、超时、失败，可能会导致作业运行失败。 可能原因 告警阈值配置或者平滑次数配置不合理。 磁盘配置无法满足业务需求，磁盘IO性能达到上限。或业务处于高峰期，导致短期内磁盘IO利用率达到上限。 处理步骤 检查告警阈值配置或者平滑次数配置是否合理。 根据实际磁盘IO使用情况，修改告警阈值和平滑次数配置项。
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Mapreduce JobHistoryServer堆内存使用率过高，会影响Mapreduce 服务日志归档的性能，甚至造成内存溢出导致Mapreduce服务不可用。 可能原因 该节点Mapreduce JobHistoryServer实例堆内存使用量
情请参见Hive用户权限管理。 在权限管理中，为了方便用户使用，授予数据库下表的任意权限将自动关联该数据库目录的HDFS权限。为了避免产生性能问题，取消表的任意权限，系统不会自动取消数据库目录的HDFS权限，但对应的用户只能登录数据库和查看表名。 如果为角色添加或删除数据库的查询
/data3/datadir</value> </property> 建议多个数据目录应该配置到多个磁盘中，否则所有的数据都将写入同一个磁盘，对性能有很大的影响。 重新启动HDFS。 按照如下方法将数据移动至新的数据目录。 mv/data1/datadir/current/finalized/subdir1
iner的启停。 因而Driver和Executor的参数配置对spark应用的执行有着很大的影响意义。用户可通过如下操作对Spark集群性能做优化。 操作步骤 配置Driver内存。 Driver负责任务的调度，和Executor、AM之间的消息通信。当任务数变多，任务平行度增大时，Driver内存都需要相应增大。
/data3/datadir</value> </property> 建议多个数据目录应该配置到多个磁盘中，否则所有的数据都将写入同一个磁盘，对性能有很大的影响。 重新启动HDFS。 按照如下方法将数据移动至新的数据目录。 mv/data1/datadir/current/finalized/subdir1
如果LoadIncrementalHFiles工具依赖的Client在集群内安装，且和DataNode在相同的节点上，在工具执行过程中HDFS会创建短路读提高性能。短路读依赖“/var/run/FusionInsight-HDFS”目录(“dfs.domain.socket.path”)，该目录默认
_256_GCM_SHA384 设置SSL加密的算法。 如果打开Task Manager之间data传输通道的SSL，对性能会有较大影响，需要用户从安全和性能综合考虑。 在Flink客户端的bin目录下，执行命令sh generate_keystore.sh <password>
对系统的影响 RegionServer WAL写入超时个数超过阈值，会增加写操作的延迟，数据写入速度变慢，并且WAL写入超时过多可能导致数据写入性能严重下降。 可能原因 慢盘故障。 RegionServer GC异常。 HBase负载过高。 WAL配置不合理。 处理步骤 在FusionInsight
enable.unsafe.sort 指定在数据加载期间是否使用不安全的排序。不安全的排序可减少数据加载操作期间的垃圾回收，从而实现更好的性能。 carbon.si.lookup.partialstring 当参数设置为TRUE时，二级索引采用starts-with、ends-w
如果LoadIncrementalHFiles工具依赖的Client在集群内安装，且和DataNode在相同的节点上，在工具执行过程中HDFS会创建短路读提高性能。短路读依赖“/var/run/FusionInsight-HDFS”目录(“dfs.domain.socket.path”)，该目录默认
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Yarn NodeManager非堆内存使用率过高，会影响Yarn任务提交和运行的性能，甚至造成内存溢出导致Yarn服务不可用。 可能原因 该节点Yarn NodeManager实例非堆内存使用量过大，或分配的非堆内存不合理，导致使用量超过阈值。
quenceFile是Hadoop特有的文件格式，RCFile是Hive优化的文件格式。RCFile优化了列存储，在对大表进行查询时，综合性能表现比SequenceFile更优。 set hive.exec.compress.output=true; set hive.exec
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
