云服务器内容精选

华为云首页用户手册

Spark Core企业级能力增强

MAPREDUCE服务 MRS-配置Spark事件队列大小:配置场景

配置场景 Spark中的UI、EventLog、动态资源调度等功能都是通过事件传递实现的。事件有SparkListenerJobStart、SparkListenerJobEnd等，记录了每个重要的过程。每个事件在发生后都会保存到一个队列中，Driver在创建SparkContext对象时，会启动一个线程循环的从该队列中依次拿出一个事件，然后发送给各个Listener，每个Listener感知到事件后就会做各自的处理。因此当队列存放的速度大于获取的速度时，就会导致队列溢出，从而丢失了溢出的事件，影响了UI、EventLog、动态资源调度等功能。所以为了更灵活的使用，在这边添加一个配置项，用户可以根据Driver的内存大小设置合适的值。

MAPREDUCE服务 MRS Spark Core企业级能力增强
MAPREDUCE服务 MRS-配置流式读取Saprk Driver执行结果:配置描述

配置描述提供两种不同的数据汇聚功能配置选项，两者在Spark JD BCS erver服务端的tunning选项中进行设置，设置完后需要重启JDB CS erver。表1 参数说明参数说明默认值 spark.sql.bigdata.thriftServer.useHdfsCollect 是否将结果数据保存到HDFS中而不是内存中。优点：由于查询结果保存在hdfs端，因此基本不会造成JDBCServer的OOM。缺点：速度慢。 true：保存至HDFS中 false：不使用该功能须知： spark.sql.bigdata.thriftServer.useHdfsCollect参数设置为true时，将结果数据保存到HDFS中，但JobHistory原生页面上Job的描述信息无法正常关联到对应的SQL语句，同时spark-beeline命令行中回显的Execution ID为null，为解决JDBCServer OOM问题，同时显示信息正确，建议选择 spark.sql.userlocalFileCollect参数进行配置。 false spark.sql.uselocalFileCollect 是否将结果数据保存在本地磁盘中而不是内存里面。优点：结果数据小数据量情况下和原生内存的方式相比性能损失可以忽略，大数据情况下（亿级数据）性能远比使用hdfs，以及原生内存方式好。缺点：需要调优。大数据情况下建议JDBCServer driver端内存10G，executor端每个核心分配3G内存。 true：使用该功能 false: 不使用该功能 false spark.sql.collect.Hive 该参数在spark.sql.uselocalFileCollect开启的情况下生效。直接序列化的方式，还是间接序列化的方式保存结果数据到磁盘。优点：针对分区数特别多的表查询结果汇聚性能优于直接使用结果数据保证在磁盘的方式。缺点：和spark.sql.uselocalFileCollect开启时候的缺点一样。 true：使用该功能 false：不使用该功能 false spark.sql.collect.serialize 该参数在spark.sql.uselocalFileCollect， spark.sql.collect.Hive同时开启的情况下生效。作用是进一步提升性能 java：采用java序列化方式收集数据。 kryo：采用kryo序列化方式收集数据，性能要比采用java好。 java 参数spark.sql.bigdata.thriftServer.useHdfsCollect和spark.sql.uselocalFileCollect不能同时设置为true。

MAPREDUCE服务 MRS Spark Core企业级能力增强
MAPREDUCE服务 MRS-使用Spark小文件合并工具说明:工具介绍

工具介绍在Hadoop大规模生产集群中，由于HDFS的元数据都保存在NameNode的内存中，集群规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件，会消耗NameNode大量内存，还会大幅降低读写性能，延长作业运行时间。因此，小文件问题是制约Hadoop集群规模扩展的关键问题。本工具主要有如下两个功能：扫描表中有多少低于用户设定阈值的小文件，返回该表目录中所有数据文件的平均大小。对表文件提供合并功能，用户可设置合并后的平均文件大小。

MAPREDUCE服务 MRS Spark Core企业级能力增强