检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持如下几种使用方法: UNIX_TIMESTAMP_MS():没有参数时,返回当前时间的时间戳。
Redis源表 功能描述 创建source流从Redis获取数据,作为作业的输入数据。 前提条件 要建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南
常用操作:SQL作业参数设置 根据安装ODBC驱动类型选择配置方法: 使用Cloudera Hive ODBC (v2.5.12)驱动 只需在sql语句的末尾添加注解参数。
Flink 1.15作业管理凭据的方法: Flink OpenSource SQL中推荐使用DEW管理密码密钥等访问凭据信息。请参考Flink Opensource SQL使用DEW管理访问凭据。
Redis源表 功能描述 创建source流从Redis获取数据,作为作业的输入数据。 前提条件 要建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南
1 CREATE FUNCTION udf_test AS 'com.huaweicompany.udf.UdfScalarFunction'; UDF UDF函数需继承ScalarFunction函数,并实现eval方法。open函数及close函数可选。
例如:(start_date <> '202007'), partitions(start_date < '201912') 示例 为了便于理解删除分区语句的使用方法,本节示例为您提供源数据,基于源数据提供删除分区的操作示例。
例如:(start_date <> '202007'), partitions(start_date < '201912') 示例 为了便于理解删除分区语句的使用方法,本节示例为您提供源数据,基于源数据提供删除分区的操作示例。
1 CREATE FUNCTION udf_test AS 'com.huaweicompany.udf.UdfScalarFunction'; UDF UDF函数需继承ScalarFunction函数,并实现eval方法。open函数及close函数可选。
方法二:如果在提交运行作业前“运行参数”选择了“保存作业日志”,可以通过如下操作查看。 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。
CLEAN_FILE 命令功能 用于清理Hudi表目录下的无效数据文件。 命令格式 call clean_file(table => '[table_name]', mode=>'[op_type]', backup_path=>'[backup_path]', start_instant_time
Redis结果表 功能描述 DLI将Flink作业的输出数据输出到Redis中。Redis是一种支持Key-Value等多种数据结构的存储系统。可用于缓存、事件发布或订阅、高速队列等场景,提供字符串、哈希、列表、队列、集合结构直接存取,基于内存,可持久化。有关Redis的详细信息,
1 CREATE FUNCTION udf_test AS 'com.huaweicompany.udf.UdfScalarFunction'; UDF UDF函数需继承ScalarFunction函数,并实现eval方法。open函数及close函数可选。
1 CREATE FUNCTION udf_test AS 'com.huaweicompany.udf.UdfScalarFunction'; UDF UDF函数需继承ScalarFunction函数,并实现eval方法。open函数及close函数可选。
Redis结果表 功能描述 DLI将Flink作业的输出数据输出到Redis中。Redis是一种支持Key-Value等多种数据结构的存储系统。可用于缓存、事件发布或订阅、高速队列等场景,提供字符串、哈希、列表、队列、集合结构直接存取,基于内存,可持久化。有关Redis的详细信息,
具体示例参考如下: 1 CREATE FUNCTION udf_test AS 'com.xxx.udf.UdfScalarFunction'; UDF UDF函数需继承ScalarFunction函数,并实现eval方法。open函数及close函数可选。
具体示例参考如下: 1 CREATE FUNCTION udf_test AS 'com.xxx.udf.UdfScalarFunction'; UDF UDF函数需继承ScalarFunction函数,并实现eval方法。open函数及close函数可选。
Flink作业相关 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化,参考队列相关完成队列创建等操作。 新建SQL作业 DLI提供新建Flink SQL作业的接口。您可以使用该接口新建Flink SQL作业并提交到
示例代码 为便于理解函数的使用方法,本文为您提供源数据,基于源数据提供函数相关示例。
具体使用方法与明细可以参照“数据类型 > 原生数据类型”。 请参考原生数据类型。