检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FlinkSQL JDBC表开发规则 提前在对应数据库中创建表 JDBC作为sink表时,需要提前在对应数据库(如MySQL)中创建好用于接收数据的空表。 JDBC作为维表时,需要提前在对应数据库(如MySQL)中创建好维度表。 父主题: FlinkSQL Connector开发规范
本。” API文档按照模板进行写作 本条规则是Should类型的扩展规则,可提升API调用者的使用体验。 API对外开放时,API文档建议使用统一的模板,以便保持API参考文档的一致性,易于开发者理解。在API参考文档中必须包含如下内容: API目录,包括本次提供API的列表信息。
props.put("max.partition.fetch.bytes","5252880"); 父主题: Kafka应用开发规范
FlinkSQL Redis表开发规则 Flink Redis作业参数规范 Flink Redis作业参数配置规范如下表所示。 表1 Flink Redis作业参数规范 配置项 是否必选 类型 描述 zSetScoreColumn 可选 String Redis作为维表时,ZSet格式score字段对应的列名。
API接口 鉴权 任务管理 公共-待办管理 人员管理 智能安监 问题管理 许可(工作票)管理 项目管理 消息及短信 基础数据管理 组织管理 作业对象管理 业务配置 EHS视频工单管理 生产资料管理 打卡管理 课程和积分管理 数据分析 权限角色 报表管理 资产管理
设计规范 命名规范 数据库对象(库名、表名、字段名、索引名)命名建议全部使用小写字母开头,后面跟字母或者数字,数据库对象(库名、表名、字段名、索引名)名字长度建议都不要大于32字节。 数据库名称不能使用特殊字符("",.,$,\,/,*,?,~,#,:,|")和空字符\0,数据库
运行pyspark应用时,不能使用集群自带的python环境,需要用户自行安装python环境,并将python相关依赖包打包上传到HDFS。 父主题: Spark应用开发规范
FlinkServer对接Hive FlinkServer对接Hudi FlinkServer对接Kafka 父主题: Flink应用开发规范
IoTDB应用开发建议 推荐使用原生接口Session,避免SQL拼接 关于IoTDB Session接口样例,安全模式集群可参考IoTDB Session程序章节,普通模式集群可参考IoTDB Session程序章节。 根据业务情况推荐优先使用性能高的写入接口 写入接口性能由高到低排序如下:
关于频率限制 出于对系统稳定运行的考虑,我们对接口的调用做了频率限制。参见接口调用频率限制。 关于返回字段 WeLink对接口的返回字段做了简化处理,对于每个字段,如果接口的值为空或者null的话,接口里将不返回。 父主题: 开发前必读
Hudi数据表管理操作规范 Hudi数据表Compaction规范 Hudi数据表Clean规范 Hudi数据表Archive规范 父主题: Hudi应用开发规范
分区表查询select * 不带分区键,会Impala触发全表,极大地占用计算资源,非必要场景下请按分区查询。 父主题: Impala应用开发规范
开发环境调用接口提示:接口未开放 问题描述 开发环境调用接口提示:接口未开放。 , 解决方法 将内置系统参数“bingo.customapi.service.permission.enable”修改为“否”。 登录AppCube开发环境。 选择“管理 > 系统管理 > 系统参数 >
建表时存储类型建议选择orc或者parquet orc和parquet是列式存储格式,读取效率更高,而且有更高的压缩率,可有效降低数据存储空间。 父主题: Impala应用开发规范
max-size' = '-1' 'sink.flush-buffer.timeout' = '1000' 父主题: FlinkSQL Connector开发规范
其余失败。 并发场景下,需要设置cleaner policy为Lazy,因此无法自动清理垃圾文件。 父主题: Spark on Hudi开发规范
key数据的合并需要依赖ClickHouse的ReplacingMergeTree引擎。 父主题: FlinkSQL Connector开发规范
景也受限,上游数据库如果进行了物理操作,那么ClickHouse中数据无法进行同步删除。 父主题: FlinkSQL Connector开发规范
tableName.consume.mode=SNAPSHOT; --使用完增量模式,必须把查询模式重新设置回来。 父主题: Spark on Hudi开发规范
--预合并字段,相同主键的数据会按该字段合并,当前不能指定多个字段 ) 父主题: Spark on Hudi开发规范