检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Mapreduce应用开发建议 全局使用的配置项,在“mapred-site.xml”配置文件中指定。 如下示例给出接口所对应的“mapred-site.xml”中的配置项。 示例: setMapperClass(Class <extends Mapper> cls) ->“mapreduce
GaussDB(DWS)开发设计规范 GaussDB(DWS)总体开发设计规范 GaussDB(DWS)连接管理规范 GaussDB(DWS)对象设计规范 GaussDB(DWS) SQL开发规范 GaussDB(DWS)外表功能开发规范 GaussDB(DWS)存储过程开发规范 GaussDB(DWS)各对象设计详细规则
Bucket调优示例 创建Bucket索引表调优 Hudi表初始化 实时任务接入 离线Compaction配置 父主题: Hudi应用开发规范
编辑模式与API规范检查 CodeArts API在API设计界面提供代码编辑模式进行API设计,可使用yaml格式设计接口文档。在编辑模式中CodeArts API提供API规范性检查。 通过规范性检查功能,可以形成统一的设计规范,避免API设计不一致,提高API设计质量。AP
规范要求 API生产 API开放 父主题: 附录-API治理规范指导
API凭证 在API凭证中可以查看IAM用户名、IAM用户ID、账号名、账号ID、项目ID等信息。项目ID是系统所在区域的ID,是您在调用API接口进行云资源管理(如创建VPC)时,需要提供的身份凭证。 操作步骤 登录华为云,在右上角单击“控制台”。 图1 进入控制台 在“控制台
Doris数据导入规范 该章节主要介绍Doris数据导入规范。 Doris数据导入建议 禁止高频执行update、delete或truncate操作,推荐几分钟执行一次,使用delete必须设置分区或主键列条件。 禁止使用INSERT INTO tbl1 VALUES (“1”)
ClickHouse本地表设计 ClickHouse分布式表设计 ClickHouse分区设计 ClickHouse索引设计 父主题: ClickHouse应用开发规范
compact.only.inline=true; run compaction on dsrTable; 父主题: Spark on Hudi开发规范
Datasource API或者Flin写Hudi表的场景,通过这两种方式写Hudi时需要增加向Hive同步元数据的配置项;该配置的目的是将Hudi表的元数据统一托管到Hive元数据服务中,为后续的跨引擎操作数据以及数据管理提供便利。 父主题: Hudi数据表设计规范
OpenAPI接口 导出API 导入API 导出自定义后端API 导入自定义后端API 父主题: 服务集成API
ClickHouse数据入库规范 规则 写本地表,查询分布式表,提升写入和查询性能,保证写入和查询的数据一致性。 只有在去重诉求的场景下,可以使用分布式表插入,通过sharding key将要去重的数据转发到同一个shard,便于后续去重查询。 外部模块保证数据导入的幂等性。 C
编辑模式与API规范检查 CodeArts API在API设计界面提供代码编辑模式进行API设计,可使用yaml格式设计接口文档。在编辑模式中CodeArts API提供API规范性检查。 通过规范性检查功能,可以形成统一的设计规范,避免API设计不一致,提高API设计质量。AP
ClickHouse物化视图概述 ClickHouse普通物化视图设计 ClickHouse Projection设计 父主题: ClickHouse应用开发规范
开发数据服务API 购买并管理专享版集群 新建数据服务审核人 创建API 调试API 发布API 管理API 编排API 配置API调用流控策略 授权API调用 父主题: 数据服务
Flink on Hudi作业参数规则 Flink作业参数配置规范 Flink作业参数配置规范如下表所示。 表1 Flink作业参数配置规范 参数名称 是否必填 参数描述 建议值 -c 必填 指定主类名。 根据实际情况而定 -ynm 必填 Flink Yarn作业名称。 根据实际情况而定
Doris连接运行规范 连接Doris和运行Doris任务时需遵循的规范如下: 推荐使用ELB连接Doris,避免当连接的FE故障时,无法对外提供服务。 当Doris单实例或硬件故障时,新提交的任务能运行成功,但不能确保故障时正在运行的任务能执行成功。因此,需要用户连接Doris
tasks。 如果有限流则调大限流参数。 调大上游compaction、archive、clean参数。 父主题: Flink on Hudi开发规范
Flink流式写Hudi表规则 Flink流式写Hudi表参数规范 Flink流式写Hudi表参数规范如下表所示。 表1 Flink流式写Hudi表参数规范 参数名称 是否必填 参数描述 建议值 Connector 必填 读取表类型。 hudi Path 必填 表存储的路径。 根据实际填写
自定义函数开发规范 用户在自行开发自定义函数时,函数的输入参数和输出参数需要遵守本节的开发规范。 自定义函数的编译方式请参考FunctionGraph的《开发指南》。 函数输入参数 工作流执行自定义函数时,函数输入参数的JSON格式的结构体和环境变量的定义如下: 表1 函数输入的JSON格式体