检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
偏移量,BIGINT类型常量,取值大于等于0。值为0时表示当前行,为1时表示前一行,以此类推。默认值为1。输入值为STRING类型、DOUBLE类型则隐式转换为BIGINT类型后进行运算。 default 是 常量,默认值为NULL。 当offset指定的范围越界时的缺省值,需要与expr对应的
e的互操作性,并减少用户需要在Flink和Hive之间切换来执行不同语句的情况。详情可参考:Apache Flink Hive 方言 功能描述 Flink目前支持两种SQL 方言: default 和 hive。你需要先切换到Hive 方言,然后才能使用Hive语法编写。下面介绍如何使用SQL设置方言。
Flink 数据类型转换。 Flink的HBase连接器将所有数据类型(除字符串外)null 值编码成空字节。对于字符串类型,null 值的字面值由null-string-literal选项值决定。 表2 数据类型映射表 Flink 数据类型 HBase 转换 CHAR / VARCHAR
来引用记录中的字段值来动态生成目标索引。 可以使用 '{field_name|date_format_string}' 将 TIMESTAMP/DATE/TIME 类型的字段值转换为 date_format_string 指定的格式。 date_format_string 与 Java 的 DateTimeFormatter
Flink 数据类型转换。 Flink的HBase连接器将所有数据类型(除字符串外)null 值编码成空字节。对于字符串类型,null 值的字面值由null-string-literal选项值决定。 表2 数据类型映射表 Flink 数据类型 HBase 转换 CHAR / VARCHAR
Flink 1.15版本说明 数据湖探索(DLI)遵循开源Flink计算引擎的发布一致性。本文介绍Flink 1.15版本所做的变更说明。 更多Flink 1.15版本说明请参考Release Notes - Flink Jar 1.15、Flink OpenSource SQL1
Flink 1.12版本说明 数据湖探索(DLI)遵循开源Flink计算引擎的发布一致性。本文介绍Flink 1.12版本所做的变更说明。 更多Flink 1.12版本说明请参考Release Notes - Flink 1.12。 Flink 1.12版本发布时间 版本名称 发布时间
Spark 3.1.1版本说明 数据湖探索(DLI)遵循开源Spark计算引擎的发布一致性。本文介绍Spark 3.1.1版本所做的变更说明。 更多Spark 3.1.1版本说明请参考Spark Release Notes。 Spark 3.1.1版本发布时间 版本名称 发布时间
Spark 2.4.5版本说明 数据湖探索(DLI)遵循开源Spark计算引擎的发布一致性。本文介绍Spark 2.4.5版本所做的变更说明。 更多Spark 2.4.5版本说明请参考Spark Release Notes。 Spark 2.4.5版本发布时间 版本名称 发布时间
Bytes进行字节数组和Flink 数据类型转换。 Flink 的 HBase 连接器将所有数据类型(除字符串外)null值编码成空字节。对于字符串类型,null值的字面值由null-string-literal选项值决定。 表2 数据类型映射表 Flink 数据类型 HBase 转换 CHAR / VARCHAR
Bytes进行字节数组和Flink 数据类型转换。 Flink 的 HBase 连接器将所有数据类型(除字符串外)null值编码成空字节。对于字符串类型,null值的字面值由null-string-literal选项值决定。 表2 数据类型映射表 Flink 数据类型 HBase 转换 CHAR / VARCHAR
运行Spark作业报java.lang.AbstractMethodError Spark 2.3对内部接口Logging做了行为变更,如果用户代码里直接继承了该Logging,且编译时使用的是低版本的Spark,那么应用程序在Spark 2.3的环境中运行将会报java.lang
建议您在执行作业时选择新版本的Flink引擎,推荐使用DLI Flink 1.12版本。 正在使用Flink 1.7版本的作业也请您尽快切换至新版本的Flink引擎,否则作业执行过程中出现的错误,不再提供该版本的任何技术服务支持。 如您有任何问题,可随时通过工单或者服务热线(4
Postgres CDC源表 功能描述 Postgres的CDC源表,即Postgres的流式源表,用于依次读取PostgreSQL数据库全量快照数据和变更数据,保证不多读一条也不少读一条数据。即使发生故障,也能采用Exactly Once方式处理。 前提条件 PostgreSQL CDC要求Postgre版本为9
Postgres CDC源表 功能描述 Postgres的CDC源表,即Postgres的流式源表,用于依次读取PostgreSQL数据库全量快照数据和变更数据,保证不多读一条也不少读一条数据。即使发生故障,也能采用Exactly Once方式处理。 前提条件 PostgreSQL CDC要求Postgre版本为9
Flink 将可为空的类型映射到 Avro union(something, null), 其中 something 是从 Flink 类型转换的 Avro 类型。 示例 从kafka中作为source的topic中读取json数据,并以confluent avro的形式写入作为sink的topic中。
(推荐)生成AK/SK 登录DLI管理控制台。 在页面右上角的用户名的下拉列表中选择“我的凭证”。 在“我的凭证”页面,默认显示“项目列表”,切换到“管理访问密钥”页面。 单击左侧“新增访问密钥”按钮,输入“登录密码”和“短息验证码”。 单击“确定”,下载证书。 下载成功后,在cre
Bytes进行字节数组和Flink 数据类型转换。 Flink 的 HBase 连接器将所有数据类型(除字符串外)null值编码成空字节。对于字符串类型,null值的字面值由null-string-literal选项值决定。 表2 数据类型映射表 Flink 数据类型 HBase 转换 CHAR / VARCHAR
s时,会触发弹性资源池扩容,扩容后的实际CUs= min(队列的最大CU和,弹性资源池CU范围最大值)。 通过“规格变更”将弹性资源池规格调整为80CUs,规格变更后,CU范围的最小值自动调整为与规格一致大小的CU。 示例2:按需计费的弹性资源池,实际CUs:64CUs、CU范围:64CUs
U数在128CU以上(假设每天累计12个小时实际CUs为128CUs,超出规格64CUs。),因此在2023/03/10 15:50:04变更弹性资源池规格为128CU。弹性资源池计费详情请参见数据湖探索价格详情。 价格仅供参考,实际计算请以数据湖探索价格详情中的价格为准。 该示例计费详情如表1所示。