检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
to_char to_char函数用于将日期按照指定格式转换为字符串。 命令格式 to_char(string date, string format) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 date 是 DATE 或 STRING 代表需要处理的日期。 格式为：
lastday lastday函数用于返回date所在月的最后一天，截取到天，时分秒部分为00:00:00。 相似函数：last_day，last_day函数用于返回date所在月份的最后一天。返回值格式为：yyyy-mm-dd。 命令格式 lastday(string date)
时间函数 Flink OpenSource SQL所支持的时间函数如表1所示。 函数说明 表1 时间函数 函数 返回值 描述 DATE string DATE 将日期字符串以"yyyy-MM-dd"的形式解析为SQL日期。 TIME string TIME 将时间字符串以"HH:mm:ss[
时间函数 Flink OpenSource SQL所支持的时间函数如表1所示。 函数说明 表1 时间函数 函数 返回值 描述 DATE string DATE 将日期字符串以"yyyy-MM-dd"的形式解析为SQL日期。 TIME string TIME 将时间字符串以"HH:mm:ss[
Print结果表 功能描述 print connector用于将用户输出的数据打印到error文件或者taskmanager的out文件中，方便用户查看，主要用于代码调试，查看输出结果。 语法格式 1 2 3 4 5 6 7 create table printSink ( attr_name
新建Flink Jar作业 功能介绍 该API用于创建用户自定义的作业，目前支持jar格式，运行在独享队列中。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1.0/{project_id}/streaming/flink-jobs 参数说明
unix_timestamp unix_timestamp函数用于将日期值转化为数字型的UNIX格式的日期值。 函数返回值将返回正常UNIX格式时间戳前十位。 命令格式 unix_timestamp(string timestamp, string pattern) 参数说明 表1
时间函数 Flink OpenSource SQL所支持的时间函数如表1所示。 函数说明 表1 时间函数 函数 返回值 描述 DATE string DATE 以“yyyy-MM-dd”的形式返回从字符串解析的 SQL 日期。 DATE_ADD STRING 指定日期增加目标天数后的日期，数据类型为STRING。
作业相关 导入数据 DLI提供导入数据的接口。您可以使用该接口将存储在OBS中的数据导入到已创建的DLI表或者OBS表中。示例代码如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 //实例化
trunc trunc函数用于将date按照特定的格式进行清零操作。 清零操作即返回默认值，年、月、日的默认值为01，时、分、秒、毫秒 的默认值为00。 命令格式 trunc(string date, string format) 参数说明 表1 参数说明 参数 是否必选 参数类型
对象存储OBS源表 功能描述 文件系统连接器可用于将单个文件或整个目录的数据读取到单个表中。 当使用目录作为source路径时，对目录中的文件进行 无序的读取。更多信息参考文件系统 SQL 连接器 语法格式 1 2 3 4 5 6 7 8 9 10 11 CREATE
在“创建程序包”对话框，配置以下参数。 包类型：选择“JAR”。 OBS路径：程序包所在的OBS路径。 分组设置和组名称根据情况选择设置，方便后续识别和管理程序包。 单击“确定”，完成创建程序包。 图12 创建程序包 步骤7：创建Spark Jar作业 登录DLI控制台，单击“作业管理 >
qualifier）。用户只需在表结构中声明查询中使用的的列簇和列限定符。除了ROW类型的列，剩下的原子数据类型字段（比如，STRING, BIGINT）将被识别为 HBase的rowkey，一张表中只能声明一个rowkey。rowkey字段的名字可以是任意的，如果是保留关键字，需要用反引号。 语法格式
示例 下面的示例展示了一个经典的业务流水线，维度表来自 Hive，每天通过批处理流水线作业或 Flink 作业更新一次，kafka流来自实时在线业务数据或日志，需要与维度表连接以扩充流。 使用spark sql 创建 hive obs 外表，并插入数据。 CREATE TABLE if
使用DataSource语法创建DLI表 功能描述 使用DataSource语法创建DLI表。DataSource语法和Hive语法主要区别在于支持的表数据存储格式范围、支持的分区数等有差异，详细请参考语法格式和注意事项说明。 注意事项 CTAS建表语句不能指定表的属性。 若没有指定分隔符，则默认为逗号（
bin bin函数用于返回a的二进制格式。 命令格式 bin(BIGINT a) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数a的格式为整数格式。 参数a非BIGINT类型时，会隐式转换为BIGINT类型后参与运算。
Hudi Compaction操作说明 什么是Compaction Compaction用于合并mor表Base和Log文件，Compaction包含两个过程Schedule和Run。Schedule过程会在TimeLine里生成一个Compaction Plan，这个Compaction
Hudi Clean操作说明 什么是Clean Cleaning用于清理Hudi表不再需要的老版本数据文件 (parquet文件或者log文件)，减轻存储压力，提升list操作效率。 如何执行Clean 写完数据后clean Spark SQL（设置如下参数，随后执行任意写入SQL时，在满足条件时触发）
Hudi表使用约束 Hudi表类型 Copy On Write 写时复制表也简称COW表，使用parquet文件存储数据，内部的更新操作需要通过重写原始parquet文件完成。 优点：读取时，只读取对应分区的一个数据文件即可，较为高效。 缺点：数据写入的时候，需要复制一个先前的副
Delta清理和优化 清理Delta表 可以对 Delta 表运行 VACUUM 命令，以删除该表中不再引用且在保留期阈值之前创建的数据文件。 VACUUM delta_table0; VACUUM delta_table0 RETAIN 168 HOURS;--单位只支持HOURS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
