检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark应用开发规则 Spark应用中,需引入Spark的类 对于Java开发语言,正确示例: // 创建SparkContext时所需引入的类。 import org.apache.spark.api.java.JavaSparkContext // RDD操作时引入的类。 import
Spark on Hudi开发规范 SparkSQL建表参数规范 Spark增量读取Hudi参数规范 Spark异步任务执行表compaction参数设置规范 Spark表数据维护规范 父主题: DLI Hudi开发规范
查询开发环境实例详情 功能介绍 该接口用于查询开发环境实例详情。 URI GET /v1/{project_id}/demanager/instances/{instance_id} 参数说明如表1所示 表1 参数说明 参数 是否必选 参数类型 说明 project_id 是 String
目前changelog的MOR表,仅支持Flink引擎进行compaction处理,不支持Spark引擎。 父主题: Flink任务开发规范
Flink性能调优开发规范 Flink性能调优规则 Flink性能调优建议 父主题: Flink应用开发规范
作业开发 作业开发流程 新建作业 开发Pipeline作业 开发批处理单任务SQL作业 开发实时处理单任务MRS Flink SQL作业 开发实时处理单任务MRS Flink Jar作业 开发实时处理单任务DLI Spark作业 调度作业 提交版本 发布作业任务 (可选)管理作业
API调用认证开发(APP认证) 开发准备 APP认证工作原理 Java SDK使用说明 Go SDK使用说明 Python SDK使用说明 C# SDK使用说明 JavaScript SDK使用说明 PHP SDK使用说明 C++ SDK使用说明 C SDK使用说明 Android
开发环境调用接口提示:接口未开放 问题描述 开发环境调用接口提示:接口未开放。 , 解决方法 将内置系统参数“bingo.customapi.service.permission.enable”修改为“否”。 登录AppCube开发环境。 选择“管理 > 系统管理 > 系统参数 >
API生产 安全性 可用性 易用性 可维护性 父主题: 规范要求
API开放 安全性 可用性 可维护性 生命周期管理 父主题: 规范要求
HBase应用开发建议 不要调用Admin的closeRegion方法关闭一个Region Admin中,提供了关闭一个Region的接口: public void closeRegion(final String regionname, final String serverName)
IoTDB应用开发规范 IoTDB应用开发规则 IoTDB应用开发建议
ClickHouse应用开发规范 ClickHouse设计规范概述 ClickHouse集群规划 ClickHouse数据库设计 ClickHouse宽表设计 ClickHouse物化视图设计 ClickHouse逻辑视图设计 ClickHouse数据库开发 ClickHouse数据库调优
开发环境(旧版) 创建开发环境实例 查询开发环境实例列表 查询开发环境实例详情 更新开发环境实例信息 删除开发环境实例 管理开发环境实例 父主题: 历史API
/local等,不存在的目录会自动忽略。 JAVA开发时,申请资源须在finally释放 申请的HDFS资源需要在try/finally中释放,而不能只在try语句之外释放,否则会导致异常情况下的资源泄漏。 HDFS文件操作API概述 Hadoop中关于文件操作类基本上全部是在“org
Kafka应用开发规则 调用Kafka API(AdminZkClient.createTopic)创建Topic 对于Java开发语言,正确示例: import kafka.zk.AdminZkClient; import kafka.zk.KafkaZkClient; import
overwrite,否则会导致文件个数与桶数不一致。 使用WebHCat的部分REST接口的前置条件 WebHCat的部分REST接口使用依赖于MapReduce的JobHistoryServer实例,具体接口如下: mapreduce/jar(POST) mapreduce/streaming(POST)
Hudi开发规范概述 范围 本节内容介绍DLI-Hudi组件进行湖仓一体、流批一体方案的设计与开发方面的规则,适用于Hudi开发场景的表的设计、管理与作业开发。 主要包括以下方面的规范: 数据表设计 资源配置 性能调优 常见故障处理 常用参数配置 术语约定 本规范采用以下的术语描述:
应用在各类与HBase操作相关的接口方法的容错处理过程中。 不用Admin时,要及时关闭,Admin实例不应常驻内存 Admin的实例应尽量遵循 “用时创建,用完关闭”的原则。不应该长时间缓存同一个Admin实例。 父主题: HBase应用开发规范
Mapreduce应用开发规范 Mapreduce应用开发规则 Mapreduce应用开发建议