检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default.conf配置文件中，在spark
Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-defaults.conf配置文件中，在spark
Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container GC日志，如果频繁出现Full GC，需要优化GC。 GC
值。 200 hfile.block.cache.size HBase缓存区大小，主要影响查询性能。根据查询模式以及查询记录分布情况来决定缓存区的大小。如果采用随机查询使得缓存区的命中率较低，可以适当降低缓存区大小。 当offheap关闭时，默认值为0.25。当offheap开启时，默认值是0
Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container GC日志，如果频繁出现Full GC，需要优化GC。 GC
metastore-refresh-interval 5m 元数据缓存刷新时间，单位：分钟 通过hive创建表tb3，此时Hetu-cli查询结果： show tables; Table ------- tb1 tb2 (2 rows) 刷新元数据缓存后再次查询： refresh catalog
TTP协议发送请求将本地文件或数据流导入到Doris中。Stream Load同步执行导入并返回导入结果，用户可直接通过请求的返回体判断本次导入是否成功。 Stream Load主要适用于导入本地文件，或通过程序导入数据流中的数据，支持导入CSV、Parquet、ORC格式的数据，默认支持导入CSV格式数据。
Yarn队列中资源不足，导致创建taskmanager启动不成功。 用户的jar包与环境中的jar包冲突导致，可以通过执行wordcount程序是否成功来判断。 如果集群为安全集群，可能是Flink的SSL证书配置错误，或者证书过期。 解决方法 增加队列的资源。 排除用户jar包中的Flin
s-meta.log”日志中是否有报错，根据日志进行排查处理。 查看当前告警是否恢复。 是，操作结束。 否，执行7。 重新绑定委托 登录MapReduce服务管理控制台。 选择“现有集群”，单击集群名称，进入集群概览页面，在运维管理区域，查看集群是否绑定委托。 是，执行10。 否，执行9。
例，会被缓存起来。也就是说，如果客户端需要与HBase集群进行交互的时候，会传递一个Configuration实例到缓存中去，HBase Client部分通过已缓存的HConnection实例，来判断属于这个Configuration实例的HConnection实例是否存在，如果
解存储压力。 规则 Hudi表必须执行Clean。 对于Hudi的MOR、COW表，都需要开启Clean。 Hudi表在写入数据时会自动判断是否需要执行Clean，因为Clean的开关默认打开(hoodie.clean.automatic默认为true)。 Clean操作并不是每
检查是否绑定弹性IP：如果需要从本地访问Manager，需要对集群绑定弹性IP且弹性IP可用才可访问。 检查安全组：MRS集群对应的安全组规则中，需要对当前用户开放9022端口。安全组规则中添加的用户本地IP是否发生变化。 检查浏览器：检查本地浏览器是否正常，例如是否配置了内
聚合算法优化 操作场景 在Spark SQL中支持基于行的哈希聚合算法，即使用快速聚合hashmap作为缓存，以提高聚合性能。hashmap替代了之前的ColumnarBatch支持，从而避免拥有聚合表的宽模式（大量key字段或value字段）时产生的性能问题。 操作步骤 要启动
聚合算法优化 操作场景 在Spark SQL中支持基于行的哈希聚合算法，即使用快速聚合hashmap作为缓存，以提高聚合性能。hashmap替代了之前的ColumnarBatch支持，从而避免拥有聚合表的宽模式（大量key字段或value字段）时产生的性能问题。 操作步骤 要启动
查看MRS集群组件运行状态 MRS集群创建后，用户可在MRS管理控制台或者集群Manager界面查看集群内各服务组件以及组件角色实例的运行状态，以判断组件是否运行正常。 前提条件 如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。
y首页面上不显示该part对应的app。 回答 JobHistory服务更新页面上的app时，会根据HDFS上的part文件大小变更与否判断是否刷新首页面的app显示信息。如果文件为第一次查看，则将当前文件大小与0作比较，如果大于0则读取该文件。 分组的情况下，如果执行的app没
告警”，在告警列表中查看是否有“节点故障”告警产生。 是，执行3。 否，执行6。 查看告警信息里的主机名是否和1主机名一致。 是，执行4。 否，执行6。 按“ALM-12006 节点故障”提供的步骤处理该告警。 在告警列表中查看“LdapServer服务不可用”告警是否清除。 是，处理完毕。
found for logger” 问题 运行应用程序时，操作失败，日志显示如图1所示。 图1 操作失败日志 回答 查看工程的“bin”目录下是否有编译过的“log4j.properties”，如果没有，则添加编译路径。 在IntelliJ IDEA中选择“File > Project
user.group.cache.timeout.sec 指定缓存中保存用户对应组信息的时间。单位：秒。 300 缓存中用户和组对应关系缓存时间，超过此时间用户信息才会再次通过id -Gn命令查询，在此期间，仅使用缓存中的用户和组对应关系。 zookeeper.connection
P95耗时持续超过阈值的可能原因： Level0层SST文件数太多，导致查询慢，伴随有“ALM-45644 RocksDB的Level0层SST文件数持续超过阈值”的告警。 缓存命中率低于60%，导致block cache频繁的换入换出。 处理步骤 检查是否Level0层SST文件数太多 在FusionInsight
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
