检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Doris数据查询规范 该章节主要介绍Doris数据查询时需遵循的规则和建议。 Doris数据查询规则 在数据查询业务代码中建议查询失败时进行重试,再次下发查询。 in中常量枚举值超过1000后,必须修改为子查询。 禁止使用REST API(Statement Execution
Hudi数据表设计规范 Hudi表模型设计规范 Hudi表索引设计规范 Hudi表分区设计规范 父主题: Hudi应用开发规范
建表时需要提前规划将来要使用的字段个数,可以多预留几十个字段,类型包括整型、字符型等。避免将来字段不够使用,需要较高代价临时去添加字段。 父主题: Doris应用开发规范
compact.only.inline=true; run compaction on dsrTable; 父主题: Spark on Hudi开发规范
Doris数据导入规范 该章节主要介绍Doris数据导入规范。 Doris数据导入建议 禁止高频执行update、delete或truncate操作,推荐几分钟执行一次,使用delete必须设置分区或主键列条件。 禁止使用INSERT INTO tbl1 VALUES (“1”)
kpoints Flink On Hudi作业建议设置Checkpoint容忍次数多次,如100。 父主题: Flink on Hudi开发规范
表名不区分大小写,但建议使用小写字母。 Hive保留关键字不能作为表名,如select、from、where等。 父主题: Flink on Hudi开发规范
tasks。 如果有限流则调大限流参数。 调大上游compaction、archive、clean参数。 父主题: Flink on Hudi开发规范
Flink on Hudi作业参数规则 Flink作业参数配置规范 Flink作业参数配置规范如下表所示。 表1 Flink作业参数配置规范 参数名称 是否必填 参数描述 建议值 -c 必填 指定主类名。 根据实际情况而定 -ynm 必填 Flink Yarn作业名称。 根据实际情况而定
enableToString true false --conf spark.speculation false false 父主题: Spark on Hudi开发规范
Flink流式写Hudi表规则 Flink流式写Hudi表参数规范 Flink流式写Hudi表参数规范如下表所示。 表1 Flink流式写Hudi表参数规范 参数名称 是否必填 参数描述 建议值 Connector 必填 读取表类型。 hudi Path 必填 表存储的路径。 根据实际填写
3 以上配置代表excutor-num*executor-cores=6 >=分区数*分桶数=6。 父主题: Spark on Hudi开发规范
常用Oozie API接口介绍 Oozie Shell接口介绍 Oozie Java接口介绍 Oozie REST接口介绍 父主题: Oozie应用开发常见问题
常用Oozie API接口介绍 Oozie Shell接口介绍 Oozie Java接口介绍 Oozie REST接口介绍 父主题: Oozie应用开发常见问题
HDFS C API接口介绍 功能简介 C语言应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请直接参考官网上的描述以了解其使用方法:http://hadoop.apache.org/docs/r2.7.2/hadoop-proj
HDFS C API接口介绍 功能简介 C语言应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请直接参考官网上的描述以了解其使用方法:http://hadoop.apache.org/docs/r3.1.1/hadoop-proj
HDFS C API接口介绍 功能简介 C语言应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请直接参考官网上的描述以了解其使用方法:http://hadoop.apache.org/docs/r3.1.1/hadoop-proj
的RESTful接口,而RESTful接口本身具有语言无关性的特点,凡是支持HTTP请求的语言都可以对接OpenTSDB。 使用Java API操作OpenTSDB OpenTSDB提供了基于HTTP或HTTPS的应用程序接口,可以使用Java API调用相关接口操作其数据,详情请参考开发程序章节。
HDFS C API接口介绍 功能简介 C语言应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请直接参考官网上的描述以了解其使用方法: http://hadoop.apache.org/docs/r3.1.1/hadoop-pro
SET_VAR(query_timeout = xxx*/ from table通过Hint方式设置Session会话变量,不要设置全局的系统变量。 父主题: Doris应用开发规范