性能调优-华为云

云数据库 RDS-RDS支持的最大IOPS是多少

RDS支持的最大IOPS是多少华为云关系型数据库服务支持的IOPS取决于云硬盘（Elastic Volume Service，简称EVS）的IO性能，具体请参见《云硬盘产品介绍》中“磁盘类型及性能介绍”的内容。 RDS for MariaDB本地SSD盘的IOPS如下：表1 x86通用型规格对应的IOPS vCPU 内存(GB) 读IOPS 写IOPS 2 4 2000 2000 2 8 4000 4000 4 8 5000 5000 4 16 7000 7000 8 16 8000 8000 8 32 12000 12000 16 64 14000 14000 表2 独享型规格对应的IOPS vCPU 内存(GB) 读IOPS 写IOPS 4 16 4500 4500 4 32 9000 9000 8 32 9000 9000 8 64 18000 18000 16 64 18000 18000 16 128 36000 36000 32 128 36000 36000 32 256 72000 72000 64 512 144000 144000 父主题：性能调优

云数据库 RDS 性能调优

数据湖探索 DLI-Flink作业运行异常，如何定位

Flink作业运行异常，如何定位在“Flink作业”管理页面，对应作业“操作”列单击“编辑”按钮，在作业运行界面确认作业是否勾选“保存作业日志”参数。图1 保存作业日志是，则执行3。否，则运行日志不会转储OBS桶，需要先执行2保存作业运行日志。在作业运行界面勾选“保存作业日志”，在“OBS桶”参数选择存储运行日志的OBS桶。单击“启动”重新运行作业。作业重新运行完成后再执行3及后续步骤。在Flink作业列表单击对应作业名称，进入作业详情页面，选择“运行日志”页签。单击OBS桶，获取对应作业的完整运行日志。图2 查看运行日志下载最新“jobmanager.log”文件，搜索“RUNNING to FAILED”关键字，通过上下文的错误栈，确认失败原因。如果“jobmanager.log”文件中的信息不足以定位，可以在运行日志中找到对应的“taskmanager.log”日志，搜索“RUNNING to FAILED”关键字，确认失败原因。父主题： Flink作业性能调优类

数据湖探索 DLI Flink作业性能调优类

MAPREDUCE服务 MRS-ClickHouse数据表分区过多调优:问题排查步骤

问题排查步骤登录ClickHouse客户端，需要排查是否存在异常的Merge。 select database, table, elapsed, progress, merge_type from system.merges; 业务上建议insert频率不要太快，不要小批量数据的插入，适当增大每次插入的时间间隔。数据表分区分配不合理，导致产生太多的区分，需要重新划分分区。如果没有触发Merge，或者Merge较慢，需要调整参数加快Merge。加速Merge，需要调整如下参数，请参考加速Merge操作：配置项参考值 max_threads CPU核数*2 background_pool_size CPU核数 merge_max_block_size 8192的整数倍，根据CPU内存资源大小调整 cleanup_delay_period 适当小于默认值 30

MAPREDUCE服务 MRS ClickHouse性能调优

MAPREDUCE服务 MRS-配置SparkSQL的分块个数:配置场景

配置场景 SparkSQL在进行shuffle操作时默认的分块数为200。在数据量特别大的场景下，使用默认的分块数就会造成单个数据块过大。如果一个任务产生的单个shuffle数据块大于2G，该数据块在被fetch的时候还会报类似错误： Adjusted frame length exceeds 2147483647: 2717729270 - discarded 例如，SparkSQL运行TPCDS 500G的测试时，使用默认配置出现错误。所以当数据量较大时需要适当的调整该参数。

MAPREDUCE服务 MRS Spark SQL性能调优

MAPREDUCE服务 MRS-配置Spark Executor堆内存参数:配置描述

配置描述参数入口：在应用提交时通过“--conf”设置这些参数，或者在客户端的“spark-defaults.conf”配置文件中调整如下参数。表1 参数说明参数说明默认值 spark.executor.memoryOverhead 用于指定每个executor的堆外内存大小(MB)，增大该参数值，可以防止物理内存超限。该值是通过max(384,executor-memory*0.1)计算所得，最小值为384。 1024

MAPREDUCE服务 MRS Spark Core性能调优

MAPREDUCE服务 MRS-调整HetuEngine元数据缓存:HetuEngine元数据缓存介绍

HetuEngine元数据缓存介绍当HetuEngine访问Hive数据源时，需要访问Hive metastore获取元数据信息。HetuEngine提供了元数据缓存的功能，当首次访问Hive数据源的库或表时，会将该库或表的元数据信息（数据库名、表名、表字段、分区信息、权限信息等）缓存起来，后续访问时不需要再次访问Hive metastore，在Hive数据源的表数据变化不频繁的场景下，可以一定程度上提升查询的性能。

MAPREDUCE服务 MRS HetuEngine性能调优

MAPREDUCE服务 MRS-优化Flink内存GC参数:操作步骤

操作步骤优化GC。调整老年代和新生代的比值。在客户端的“conf/flink-conf.yaml”配置文件中，在“env.java.opts”配置项中添加参数：“-XX:NewRatio”。如“ -XX:NewRatio=2”，则表示老年代与新生代的比值为2:1，新生代占整个堆空间的1/3，老年代占2/3。开发Flink应用程序时，优化DataStream的数据分区或分组操作。当分区导致数据倾斜时，需要考虑优化分区。避免非并行度操作，有些对DataStream的操作会导致无法并行，例如WindowAll。 keyBy尽量不要使用String。

MAPREDUCE服务 MRS Flink性能调优

MAPREDUCE服务 MRS-CarbonData调优思路:CarbonData查询流程

CarbonData查询流程当CarbonData首次收到对某个表（例如表A）的查询任务时，系统会加载表A的索引数据到内存中，执行查询流程。当CarbonData再次收到对表A的查询任务时，系统则不需要再加载其索引数据。在CarbonData中执行查询时，查询任务会被分成几个扫描任务。即，基于CarbonData数据存储的HDFS block对扫描任务进行分割。扫描任务由集群中的执行器执行。扫描任务可以并行、部分并行，或顺序处理，具体采用的方式取决于执行器的数量以及配置的执行器核数。查询任务的某些部分可在独立的任务级上处理，例如select和filter。查询任务的某些部分可在独立的任务级上进行部分处理，例如group-by、count、distinct count等。某些操作无法在任务级上处理，例如Having Clause（分组后的过滤），sort等。这些无法在任务级上处理，或只能在任务级上部分处理的操作需要在集群内跨执行器来传输数据（部分结果）。这个传送操作被称为shuffle。任务数量越多，需要shuffle的数据就越多，会对查询性能产生不利影响。由于任务数量取决于HDFS block的数量，而HDFS block的数量取决于每个block的大小，因此合理选择HDFS block的大小很重要，需要在提高并行性，进行shuffle操作的数据量和聚合表的大小之间达到平衡。