检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
序列化器 Opts/s PojoSeriallizer 813 Kryo 294 Avro(Reflect API) 114 Avro(SpecificRecord API) 632 网络通信调优 Flink通信主要依赖Netty网络,所以在Flink应用执行过程中,Netty的
System.exit(job.waitForCompletion(true) ? 0 : 1); } 父主题: Mapreduce应用开发规范
INSERT操作规范 规则3.3 INSERT多VALUES批插场景使用COPY替代 违反规范的影响: 多VALUES解析耗时、耗资源,入库效率低。 方案建议: 前端使用COPY类接口(如JDBC的CopyManger等)代替INSERT VALUES。 建议3.4 禁止针对普通列存表进行实时INSERT操作
ClickHouse调优思路 ClickHouse系统调优 ClickHouse SQL调优 ClickHouse参数调优实践 父主题: ClickHouse应用开发规范
park异步执行Compaction,不...中提到的异步Compaction任务,这里给出以下开发建议: 不需要对每张Hudi表都开发异步Compaction任务,这样会导致作业开发成本高,集群作业爆炸,集群资源不能有效的利用和释放。 异步Compaction任务可以通过执行S
timestamp进行过滤。 提交其他SQL时,需要清除上述配置参数,避免影响其他任务执行结果。 父主题: Spark on Hudi开发规范
建议3.18 SQL语句的长度不要超过64K 违反规范的影响: SQL解析耗时长、维护难度大,如频繁执行会导致日志膨胀严重。 方案建议: 控制业务SQL的长度,避免超过64K。 父主题: GaussDB(DWS) SQL开发规范
#【必选】包含了chart信息文件,包括api版本、名称、描述、图标、类型、注释 ├─ values.yaml #【必选】参数值文档,为templates下的文档配置参数值 ├─ values.schema.json #【可选】一个使用JSON结构的values
Hudi表索引设计规范 规则 禁止修改表索引类型。 Hudi表的索引会决定数据存储方式,随意修改索引类型会导致表中已有的存量数据与新增数据之间出现数据重复和数据准确性问题。常见的索引类型如下: 布隆索引:Spark引擎独有索引,采用bloomfiter机制,将布隆索引内容写入到Parquet文件的footer中。
开发数据服务API 购买并管理专享版集群 新建数据服务审核人 创建API 调试API 发布API 管理API 编排API 配置API调用流控策略 授权API调用 父主题: 数据服务
除Spark以外,其他引擎也可以修改Hudi表元数据,但是这种修改会导致整个Hudi表出现数据重复,甚至数据损坏;因此禁止修改上述属性。 父主题: Spark on Hudi开发规范
ClickHouse数据库设计 ClickHouse DataBase设计 ClickHouse表引擎适用场景说明 父主题: ClickHouse应用开发规范
自定义函数开发规范 用户在自行开发自定义函数时,函数的输入参数和输出参数需要遵守本节的开发规范。 自定义函数的编译方式请参考FunctionGraph的《开发指南》。 函数输入参数 工作流执行自定义函数时,函数输入参数的JSON格式的结构体和环境变量的定义如下: 表1 函数输入的JSON格式体
DDL操作规范 建议3.1 DDL操作(CREATE除外)避免在业务高峰期和长事务中执行 违反规范的影响: DDL操作普遍持锁级别高,如ALTER、DROP、TRUNCATE、REINDEX、VACUUM FULL等,执行时会造成业务等锁阻塞。 高峰期执行持锁级别高的DDL操作,造成业务等锁阻塞。
Spark Java API接口介绍 由于Spark开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类: JavaSparkContext:是Spark的对外接口,负责向调用该类的Jav
ClickHouse数据库应用开发 在ClickHouse的使用过程中,由于使用不规范的方式访问和查询,导致业务失败的情况时有发生。此外,偶尔也会发生因为网络闪断等导致连接和查询失败的情况。 MRS提供了ClickHouse的样例代码工程,旨在提供连接重试机制和规范化用户连接和查询的方法
生命周期管理 API接口变更在参考文档中为新版本提供迁移计划 本条规则是Should类型的扩展规则,可方便管理API的生命周期。 在进行新版本API设计时应当考虑老版本升级迁移计划,从而实现API的迁移。新版本中继承的接口在语义上应当能兼容老版本。 对于计划不再支持的接口,需要正式发
--预合并字段,相同主键的数据会按该字段合并,当前不能指定多个字段 ) 父主题: Spark on Hudi开发规范
安全性 涉及敏感信息或个人隐私数据的API,应提供数据传输和存储过程中的安全机制 本条规则是MUST类型的基本规则,可保障API的安全合规。 API接口参数传输和存储过程中,敏感信息和个人隐私数据禁止明文传输和存储,避免造成敏感信息或个人隐私数据泄露。敏感信息和个人隐私数据包括:
ClickHouse日志管理 ClickHouse日志管理规则 ClickHouse日志详细信息 表运维 父主题: ClickHouse应用开发规范