检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CarbonData性能调优 CarbonData调优思路 CarbonData性能调优常见配置参数 创建CarbonData Table的建议 父主题: 使用CarbonData(MRS 3.x及之后版本)
提升HDFS写数据性能 操作场景 在HDFS中,通过调整属性的值,使得HDFS集群更适应自身的业务情况,从而提升HDFS的写性能。 本章节适用于MRS 3.x及后续版本。
Flink性能调优 优化Flink内存GC参数 配置Flink任务并行度 配置Flink任务进程参数 优化Flink Netty网络通信参数 父主题: 使用Flink
Kafka性能调优 操作场景 通过调整Kafka服务端参数,可以提升特定业务场景下Kafka的处理能力。 参数调优 修改服务配置参数,请参考修改集群服务配置参数。调优参数请参考表1。
通过调整对应算子并行度提升性能 读写Hudi可以通过配置读写并发提升读写性能。
当一行数据中存在多列时,一般可以配置为“FAST_DIFF”,可以有效地节省数据存储的空间,从而提供性能。 NONE 父主题: HBase性能调优
父主题: Flink性能调优开发规范
数据传输加解密对性能影响较大,经过测试发现具有200%的性能差异,因此建议性能测试时关闭SSL加密。ConfigNode和IoTDBServer两个角色同名参数都要修改。
使用External Shuffle Service提升性能 操作场景 Spark系统在运行含shuffle过程的应用时,Executor进程除了运行task,还要负责写shuffle数据,给其他Executor提供shuffle数据。
提升HBase Put和Scan数据性能 操作场景 HBase有很多与读写性能相关的配置参数。读写请求负载不同的情况下,配置参数需要进行相应的调整,本章节旨在指导用户通过修改RegionServer配置参数进行读写性能调优。
所以需要根据实际的业务情况进行合理的JVM参数配置,提高集群性能。
CarbonData性能调优常见配置参数 操作场景 CarbonData的性能与配置参数相关,本章节提供了能够提升性能的相关配置介绍。 操作步骤 用于CarbonData查询的配置介绍,详情请参见表1和表2。
Spark on OBS性能调优 配置场景 Spark on OBS在小批量频繁请求OBS的场景下,可以通过关闭OBS监控提升性能。 配置描述 在Spark客户端的“core-site.xml”配置文件中修改配置。
提升HBase连续Put数据场景性能 操作场景 对大批量、连续put的场景,配置下面的两个参数为“false”时能大量提升性能。
提升HBase连续Put数据场景性能 操作场景 对大批量、连续Put的场景,配置下面的两个参数为“false”时能大量提升性能。
Spark Core性能调优 Spark Core数据序列化 Spark Core内存调优 设置Spark Core并行度 配置Spark Core广播变量 配置Spark Executor堆内存参数 使用External Shuffle Service提升Spark Core性能
Spark SQL性能调优 Spark SQL join优化 优化数据倾斜场景下的Spark SQL性能 优化小文件场景下的Spark SQL性能 Spark INSERT SELECT语句调优 动态分区插入场景内存优化 小文件优化 聚合算法优化 Datasource表优化 合并CBO
Spark On Hudi性能调优 优化Spark Shuffle参数提升Hudi写入效率 开启spark.shuffle.readHostLocalDisk=true,本地磁盘读取shuffle数据,减少网络传输的开销。
Spark SQL性能调优 Spark SQL join优化 优化数据倾斜场景下的Spark SQL性能 优化小文件场景下的Spark SQL性能 Spark INSERT SELECT语句调优 配置多并发客户端连接JDBCServer 配置SparkSQL的分块个数 Spark动态分区插入场景内存优化
Spark Core性能调优 Spark Core数据序列化 Spark Core内存调优 Spark Core内存调优 配置Spark Core广播变量 配置Spark Executor堆内存参数 使用External Shuffle Service提升Spark Core性能