检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
uniqCombined对去重逻辑进行了优化，通过近似去重提升十倍查询性能，如果对查询允许有误差，可以使用uniqCombined替代，否则还继续使用distinct语法。 降低对表的修改频次 默认场景下ClickHouse执行alter语句是异步执行，对同一张表频繁执行alter操作可能导致业务失败。
库应用有广泛而深刻的理解和认识，才能在调优过程中找到关键瓶颈点，解决性能问题。 图1 调优流程 表1 调优流程说明 流程 描述 系统调优 对OS操作系统级参数和数据库的调优，充分地利用主机的CPU、内存、I/O和网络资源，提升整个系统查询的吞吐量，同时数据库参数也调整到最优状态。
ClickHouse数据入库 ClickHouse数据入库工具 ClickHouse数据入库规范 父主题： ClickHouse数据库开发
ClickHouse日志详细信息 日志类型 日志文件名 描述 ClickHouse相关日志 /var/log/Bigdata/clickhouse/clickhouseServer/clickhouse-server.err.log ClickHouseServer服务运行错误日志文件路径。
Kafka表开发规范 Kafka表开发规则 Kafka表开发建议 父主题： FlinkSQL Connector开发规范
Flink流式写Hudi表规范 Flink流式写Hudi表规则 Flink流式写Hudi表建议 父主题： Flink on Hudi开发规范
ClickHouse系统调优 通过FusionInsight Manager查看主机上的CPU、内存、I/O和网络资源使用情况，确认这些资源是否已被充分利用，分以下几种情况： 每个节点资源占用都比较均匀 通过观察资源在每个节点都使用比较均匀，说明系统资源使用比较正常，可以先不关注
Flink作业参数规范 Flink作业参数规则 Flink作业参数建议 父主题： Flink on Hudi开发规范
ClickHouse日志管理规则 日志路径 ClickHouse相关日志的默认存储路径为：“${BIGDATA_LOG_HOME}/clickhouse”。 ClickHouseServer运行相关日志：“/var/log/Bigdata/clickhouse/clickhouseServer/
Flink流式读Hudi表规范 Flink流式读Hudi表规则 Flink流式读Hudi表建议 父主题： Flink on Hudi开发规范
HBase数据表开发规范 HBase数据表开发规则 HBase数据表开发建议 父主题： FlinkSQL Connector开发规范
ClickHouse表开发规范 ClickHouse表开发规则 ClickHouse表开发建议 父主题： FlinkSQL Connector开发规范
Flink流式写Hudi表建议 使用SparkSQL统一建表。 推荐使用Spark异步任务对Hudi表进行Compaction。 父主题： Flink流式写Hudi表规范
merge压力会变大，甚至出现各种异常影响数据插入。建议每个批次5k到100k行，写入字段不能太多，太多字段情况下要减少写入行数，以降低对写入节点的内存和CPU压力，每秒不超过1次插入。 多副本并行导入。 有大数据的导入场景，建议将数据提前拆分成多份，在一个shard内的多个副
溢出等服务异常。 对于前端使用ClickHouse的场景，如果要查询的数据量比较大，建议每次可适当地进行分页查询返回数据，以减少查询数据量对网络带宽和计算资源的占用。 【不做limit限制】 耗时：1.124 【做limit限制】 耗时：0.002 join查询时小表在右。 两表
ClickHouse数据入库工具 最佳实践方案 ClickHouse数据加工流程最佳实践：在数据湖中通过Hive&Spark（批量）/FlinkSQL（增量）加工成大宽表后，通过CDL/Loader工具实时同步到ClickHouse，下游BI工具和应用进行实时OLAP分析。 数据加工
Doris数据表开发规范 Doris数据表开发规则 父主题： FlinkSQL Connector开发规范
Flink作业参数建议 Hudi表作为Source表时建议设置限流 Hudi表作为Source表，防止上限超过流量峰值，导致作业出现异常带来不稳定因素，因此建议设置限流，限流上限应该为业务上线压测的峰值。 使用时需添加如下参数： 'read.rate.limit' = '1000'
Flink性能调优规则 及时对Hudi表进行compaction防止Hudi Source算子Checkpoint完成时间过长 当Hudi Source算子Checkpoint完成时间长时，可检查该Hudi表compaction是否正常。因为当长时间不做compaction时list性能会变差。
开源Kylin 3.x与MRS 1.9.3对接时存在Jetty兼容性问题如何处理？ 出于安全考虑，MRS对部分存在严重安全漏洞的开源三方组件进行了版本升级，导致开源Kylin与MRS 1.9.3版本进行对接时存在Jetty版本的兼容性问题。 按以下步骤进行操作可以完成部署和对接。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
