检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink性能调优规则 及时对Hudi表进行compaction防止Hudi Source算子Checkpoint完成时间过长 当Hudi Source算子Checkpoint完成时间长时，可检查该Hudi表compaction是否正常。因为当长时间不做compaction时list性能会变差。
开源Kylin 3.x与MRS 1.9.3对接时存在Jetty兼容性问题如何处理？ 出于安全考虑，MRS对部分存在严重安全漏洞的开源三方组件进行了版本升级，导致开源Kylin与MRS 1.9.3版本进行对接时存在Jetty版本的兼容性问题。 按以下步骤进行操作可以完成部署和对接。
ClickHouse参数调优实践 表1 ClickHouse参数调优汇总 参数名 参数描述 默认值 建议值 是否需要重启生效 max_memory_usage_for_all_queries 单台服务器上所有查询的内存使用量，默认没有限制。建议根据机器的总内存，预留一部分空间，防止内存不够导致服务或者机器异常。
Kafka表开发建议 Kafka作为source表时应设置限流 本章节适用于MRS 3.3.0及以后版本。 防止上限超过流量峰值，导致作业异常带来不稳定因素。因此建议设置限流，限流上限应该为业务上线压测的峰值。 【示例】 #如下参数作用在每个并行度 'scan.records-per-second
错，所以需提前在ClickHouse中创建好对应的表。 Flink写ClickHouse不支持删除操作 由于不支持删除操作，Flink无法对ClickHouse的数据进行回撤。在Flink处理更新数据的时候产生的回撤流就无法在ClickHouse中执行，导致数据结果不对。 同时通过Flink
ClickHouse表开发建议 配置多个ClickHouseBalancer实例IP 配置多个ClickHouseBalancer实例IP可以避免ClickHouseBalancer实例单点故障。相关配置（with属性）如下： 'url' = 'jdbc:clickhouse:/
Flink作业参数规则 Flink作业参数配置规范 Flink作业参数配置规范如下表所示。 表1 Flink作业参数配置规范 参数名称 是否必填 参数描述 建议值 -c 必填 指定主类名。 根据实际情况而定 -ynm 必填 Flink Yarn作业名称。 根据实际情况而定 execution
Flink流式读Hudi表规则 Flink流式读Hudi表参数规范如下所示。 表1 Flink流式读Hudi表参数规范 参数名称 是否必填 参数描述 示例 Connector 必填 读取表类型。 hudi Path 必填 表存储的路径。 根据实际情况填写 table.type 必填
HetuEngine具备高速访问Hive、Hudi等数据源的能力。对于Hudi数据源调优，可以分为对Hudi表本身和对集群环境的调优。 Hudi表调优 可参考如下建议优化表和数据设计： 建表时尽量按照频繁使用的过滤条件字段进行分区。 如果大部分查询场景均带有主键或主键子集的等值查
Flink流式读Hudi表建议 设置合理的消费参数避免File Not Found问题 当下游消费Hudi过慢，上游写入端会把Hudi文件归档，导致File Not Found问题。优化建议如下： 调大read.tasks。 如果有限流则调大限流参数。 调大上游compaction、archive、clean参数。
Flink流式写Hudi表规则 Flink流式写Hudi表参数规范 Flink流式写Hudi表参数规范如下表所示。 表1 Flink流式写Hudi表参数规范 参数名称 是否必填 参数描述 建议值 Connector 必填 读取表类型。 hudi Path 必填 表存储的路径。 根据实际填写
ClickHouse多租户介绍 ClickHouse多租户特性通过“用户 > 租户角色 > 资源profiles管理”的模型，使用户拥有对集群资源的管理能力，目前支持内存和CPU优先级管理。多租户设计模型如下图所示： 通过FusionInsight Manager服务配置和租户管理页面的操作，用户可以实现设
Doris数据表开发规则 提前在Doris中创建表 Flink作业在Doris中找不到对应表会报错，所以需要提前在Doris中创建好对应的表。 Doris作为Sink表时需开启CheckPoint Flink作业在触发CheckPoint时才会往Doris表中写数据。 父主题： Doris数据表开发规范
HBase数据表开发建议 客户端提交作业时通过with属性添加HBase配置信息 Flink客户端提交作业，如SQL client提交，在建表语句中添加如下配置： 表1 Flink作业with属性 配置 说明 'properties.hbase.rpc.protection' =
吞吐率，同时降低具有弹性扩张特性的数据驱动型应用的成本开销 简化云存储和对象存储接入 简化数据管理，提供对多数据源的单点访问 应用程序部署简易 Alluxio 接口开发简介 Alluxio支持使用Java进行程序开发，具体的API接口内容请参考https://docs.alluxio.io/os/javadoc/2
对同一目录创建多个外表，可能导致外表查询失败 问题 假设存在数据文件路径“/test_data_path”，用户userA对该目录创建外表tableA，用户userB对该目录创建外表tableB，当userB对tableB执行insert操作后，userA将查询tableA失败，出现Permission
Hudi开发规范概述 范围 本规范主要描述基于MRS-Hudi组件进行湖仓一体、流批一体方案的设计与开发方面的规则。其主要包括以下方面的规范： 数据表设计 资源配置 性能调优 常见故障处理 常用参数配置 术语约定 本规范采用以下的术语描述： 规则：编程时强制必须遵守的原则。 建议：编程时必须加以考虑的原则。
Flink开发规范概述 范围 本规范主要描述基于MRS-Flink组件进行湖仓一体、流批一体方案的设计与开发方面的规则。其主要包括以下方面的规范： 数据表设计 资源配置 性能调优 常见故障处理 常用参数配置 术语约定 本规范采用以下的术语描述： 规则：编程时必须遵守的原则。 建议：编程时必须加以考虑的原则。
对同一目录创建多个外表，可能导致外表查询失败 问题 假设存在数据文件路径“/test_data_path”，用户userA对该目录创建外表tableA，用户userB对该目录创建外表tableB，当userB对tableB执行insert操作后，userA将查询tableA失败，出现Permission
括HDFS和OBS在内的持久化存储系统，从而实现了对计算和存储的分离。 图1 Alluxio架构 优势： 提供内存级I/O吞吐率，同时降低具有弹性扩张特性的数据驱动型应用的成本开销 简化云存储和对象存储接入 简化数据管理，提供对多数据源的单点访问 应用程序部署简易 有关Allux
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
