检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
优化数据倾斜场景下的Spark SQL性能 配置场景 在Spark SQL多表Join的场景下，会存在关联键严重倾斜的情况，导致Hash分桶后，部分桶中的数据远高于其他分桶。最终导致部分Task过重，运行很慢；其他Task过轻，运行很快。一方面，数据量大Task运行慢，使得计算性
优化小文件场景下的Spark SQL性能 配置场景 Spark SQL的表中，经常会存在很多小文件（大小远小于HDFS块大小），每个小文件默认对应Spark中的一个Partition，也就是一个Task。在很多小文件场景下，Spark会起很多Task。当SQL逻辑中存在Shuff
优化数据倾斜场景下的Spark SQL性能 配置场景 在Spark SQL多表Join的场景下，会存在关联键严重倾斜的情况，导致Hash分桶后，部分桶中的数据远高于其它分桶。最终导致部分Task过重，跑得很慢；其它Task过轻，跑得很快。一方面，数据量大Task运行慢，使得计算性
优化小文件场景下的Spark SQL性能 配置场景 Spark SQL的表中，经常会存在很多小文件（大小远小于HDFS块大小），每个小文件默认对应Spark中的一个Partition，也就是一个Task。在很多小文件场景下，Spark会起很多Task。当SQL逻辑中存在Shuff
成功，否则删除失败。 原因：创建UDF后，Spark服务端的JDBCServer未重启或者spark-sql未重新启动的场景，Spark所在线程的FunctionRegistry对象未保存新创建的UDF，那么删除UDF时就会出现错误。 解决方法：重启Spark服务端的JDBCSe
成功，否则删除失败。 原因：创建UDF后，Spark服务端的JDBCServer未重启或者spark-sql未重新启动的场景，Spark所在线程的FunctionRegistry对象未保存新创建的UDF，那么删除UDF时就会出现错误。 解决方法：重启Spark服务端的JDBCSe
从“定位信息”中获取“主机名”和“设备分区名”，其中“主机名”为故障告警的节点，“设备分区名”为故障磁盘的分区。 联系硬件工程师确认为磁盘硬件故障之后，将服务器上故障磁盘在线拔出。 拔出磁盘后系统会上报“ALM-12014 分区丢失”告警，参考ALM-12014 设备分区丢失进行处理，处理完成后，本告警即可自动消除。
CarbonData性能调优常见配置参数 操作场景 CarbonData的性能与配置参数相关，本章节提供了能够提升性能的相关配置介绍。 操作步骤 用于CarbonData查询的配置介绍，详情请参见表1和表2。 表1 Shuffle过程中，启动Task的个数 参数 spark.sql
使用External Shuffle Service提升Spark Core性能 操作场景 Spark系统在运行含shuffle过程的应用时，Executor进程除了运行task，还要负责写shuffle数据以及给其他Executor提供shuffle数据。当Executor进程任务过重，导致触发GC（Garbage
executor内存不足导致查询性能下降 现象描述 在不同的查询周期内运行查询功能，查询性能会有起伏。 可能原因 在处理数据加载时，为每个executor程序实例配置的内存不足，可能会产生更多的Java GC（垃圾收集）。当GC发生时，会发现查询性能下降。 定位思路 在Spark
executor内存不足导致查询性能下降 现象描述 在不同的查询周期内运行查询功能，查询性能会有起伏。 可能原因 在处理数据加载时，为每个executor程序实例配置的内存不足，可能会产生更多的Java GC（垃圾收集）。当GC发生时，会发现查询性能下降。 定位思路 在Spark
Flink应用性能调优建议 配置内存 Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container
是，处理完毕。 否，执行5。 检查Oozie与Yarn连接是否异常。 在FusionInsight Manager界面，选择“运维 > 日志 > 在线检索”，选择“Oozie”服务，检索日志关键词“[Oozie Alarm Enhancement][YARN]”，在日志中查看具体告警原因
否，执行5。 检查Oozie与ZooKeeper连接是否异常。 在FusionInsight Manager界面，选择“运维 > 日志 > 在线检索”，选择“Oozie”服务，检索日志关键词“[Oozie Alarm Enhancement][ZooKeeper]”，在日志中查看具
是，处理完毕。 否，执行5。 检查Oozie与HDFS连接是否异常。 在FusionInsight Manager界面，选择“运维 > 日志 > 在线检索”，选择“Oozie”服务，检索日志关键词“[Oozie Alarm Enhancement][HDFS]”，在日志中查看具体告警原因
否，执行5。 检查Oozie与DBService连接是否异常。 在FusionInsight Manager界面，选择“运维 > 日志 > 在线检索”，选择“Oozie”服务，检索日志关键词“[Oozie Alarm Enhancement][DB Service]”，在日志中查看
每个磁盘分区的使用情况。 实例列表区 实例列表区显示了该主机所有安装的角色实例，并显示每个角色实例的状态，单击角色实例名称后的日志文件，可在线查看该实例对应日志文件内容。 告警和事件的历史记录 告警和事件的历史记录区显示了当前主机上报的关键告警与事件记录，系统最多可显示20条历史记录。
使用External Shuffle Service提升Spark Core性能 操作场景 Spark系统在运行含shuffle过程的应用时，Executor进程除了运行task，还要负责写shuffle数据以及给其他Executor提供shuffle数据。当Executor进程任务过重，导致触发GC（Garbage
准备本地应用开发环境 选择Windows开发环境下，安装Eclipse，安装JDK。 JDK使用1.8版本，Eclipse使用4.3.2及以上版本。 若使用IBM JDK，请确保Eclipse中的JDK配置为IBM JDK。 若使用Oracle JDK，请确保Eclipse中的JDK配置为Oracle
确认“HostName”节点的“PartitionName”对应的磁盘是否在对应服务器的插槽上。 是，执行5。 否，执行6。 联系硬件工程师将故障磁盘在线拔出。 使用PuTTY工具登录发生告警的“HostName”节点，检查“/etc/fstab”文件中是否包含“DirName”的行。 是，执行7。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
