-
字符串函数 - 数据湖探索 DLI
LPAD(string1, integer, string2) STRING 将string2字符串拼接到string1字符串的左端,直到新的字符串达到指定长度integer为止 任意参数为null时,返回null 若integer为负数,则返回null 若integer不大于s
-
存储计费 - 数据湖探索 DLI
按照存储在DLI服务中的数据存储量(单位为“GB”)收取存储费用。 计费周期 按需计费DLI数据存储每一个小时整点结算一次费用(以UTC+8时间为准),结算完毕后进入新的计费周期。 计费的起点以DLI表的创建时间点为准,终点以DLI表删除时间为准。 资源从创建到启动需要一定时长,按需计费的数据存储的起点是D
-
查询作业执行进度信息 - 数据湖探索 DLI
message 是 String 系统提示信息,执行成功时,信息可能为空。 job_id 否 String 提交请求成功时,生成并提交一个新的作业,返回作业ID。用户可以使用作业ID来查询作业状态和获取作业结果。 status 是 String 作业状态。状态可能为运行中(RUN
-
字符串函数 - 数据湖探索 DLI
LPAD(string1, integer, string2) STRING 将string2字符串拼接到string1字符串的左端,直到新的字符串达到指定长度integer为止 任意参数为null时,返回null 若integer为负数,则返回null 若integer不大于s
-
字符串函数 - 数据湖探索 DLI
LPAD(string1, integer, string2) STRING 将string2字符串拼接到string1字符串的左端,直到新的字符串达到指定长度integer为止 任意参数为null时,返回null 若integer为负数,则返回null 若integer不大于s
-
字符串函数 - 数据湖探索 DLI
LPAD(string1, integer, string2) STRING 将string2字符串拼接到string1字符串的左端,直到新的字符串达到指定长度integer为止 任意参数为null时,返回null 若integer为负数,则返回null 若integer不大于s
-
CREATE TABLE语句 - 数据湖探索 DLI
watermark 仍然与前一个 watermark 相同、为空、或返回的 watermark 的值小于最后一个发出的 watermark ,则新的 watermark 不会被发出。 Watermark 根据 pipeline.auto-watermark-interval 中所配置的间隔发出。
-
使用Temporal join关联维表的最新版本 - 数据湖探索 DLI
ttl(所有分区作为临时表)设置一个相对较大的值。否则,作业容易出现性能问题,避免表更新和重新加载过于频繁。 缓存刷新需加载整个Hive表。无法区分新数据和旧数据。 参数说明 在执行与最新的Hive表的时间关联时,Hive表将被缓存到Slot内存中,然后通过键将流中的每条记录与表进行关联,
-
CREATE TABLE语句 - 数据湖探索 DLI
watermark 仍然与前一个 watermark 相同、为空、或返回的 watermark 的值小于最后一个发出的 watermark ,则新的 watermark 不会被发出。 Watermark 根据 pipeline.auto-watermark-interval 中所配置的间隔发出。
-
CREATE TABLE语句 - 数据湖探索 DLI
watermark 仍然与前一个 watermark 相同、为空、或返回的 watermark 的值小于最后一个发出的 watermark ,则新的 watermark 不会被发出。 Watermark 根据 pipeline.auto-watermark-interval 中所配置的间隔发出。
-
CREATE TABLE语句 - 数据湖探索 DLI
watermark 仍然与前一个 watermark 相同、为空、或返回的 watermark 的值小于最后一个发出的 watermark ,则新的 watermark 不会被发出。 Watermark 根据 pipeline.auto-watermark-interval 中所配置的间隔发出。
-
提交SQL作业(推荐) - 数据湖探索 DLI
是否必选 参数类型 说明 sql 是 String 待执行的SQL语句。 currentdb 否 String SQL语句执行所在的数据库。当创建新数据库时,不需要提供此参数。 current_catalog 否 String 待提交作业的表的默认catalog。不填时默认使用DLI catalog。
-
窗口 - 数据湖探索 DLI
口在定义的间隔时间内没有事件出现,该窗口会被关闭。例如时间窗口的间隔时间是 30 分钟,当其不活跃的时间达到30分钟后,若观测到新的记录,则会启动一个新的会话时间窗口(否则该行数据会被添加到当前的窗口),且若在 30 分钟内没有观测到新纪录,这个窗口将会被关闭。会话时间窗口可以使
-
窗口 - 数据湖探索 DLI
定义的间隔时间内没有事件出现,该窗口会被关闭。 例如时间窗口的间隔时间是 30 分钟,当其不活跃的时间达到30分钟后,如果观测到新的记录,则会启动一个新的会话时间窗口(否则该行数据会被添加到当前的窗口),且如果在 30 分钟内没有观测到新纪录,这个窗口将会被关闭。会话时间窗口可以
-
窗口 - 数据湖探索 DLI
口在定义的间隔时间内没有事件出现,该窗口会被关闭。例如时间窗口的间隔时间是 30 分钟,当其不活跃的时间达到30分钟后,若观测到新的记录,则会启动一个新的会话时间窗口(否则该行数据会被添加到当前的窗口),且若在 30 分钟内没有观测到新纪录,这个窗口将会被关闭。会话时间窗口可以使
-
CREATE TABLE语句 - 数据湖探索 DLI
watermark 仍然与前一个 watermark 相同、为空、或返回的 watermark 的值小于最后一个发出的 watermark ,则新的 watermark 不会被发出。 Watermark 根据 pipeline.auto-watermark-interval 中所配置的间隔发出。
-
JDBC结果表 - 数据湖探索 DLI
如果JDBC结果表定义了主键,则连接器以upsert模式运行,否则,连接器以Append模式运行。 upsert模式:Flink会根据主键插入新行或更新现有行,Flink可以通过这种方式保证幂等性。为保证输出结果符合预期,建议为表定义主键。 Append模式:Flink 会将所有记录
-
JDBC结果表 - 数据湖探索 DLI
如果JDBC结果表定义了主键,则连接器以upsert模式运行,否则,连接器以Append模式运行。 upsert模式:Flink会根据主键插入新行或更新现有行,Flink可以通过这种方式保证幂等性。为保证输出结果符合预期,建议为表定义主键。 Append模式:Flink 会将所有记录
-
使用Temporal join关联维表的最新分区 - 数据湖探索 DLI
40, 2023-11-24T18:10:58, update_user_2, create_time_1] 模拟向hive 维表,插入新的分区数据 INSERT INTO dimension_hive_table PARTITION (create_time='create_time_2')
-
使用Hive语法创建DLI表 - 数据湖探索 DLI
facultyNo INT, classNo INT ); 示例3:使用CTAS语句将源表的全部数据或部分数据创建新的DLI表 示例说明:根据示例1:创建DLI非分区表中创建的DLI表table1,使用CTAS语法将table1中的数据复制到table1_ctas表中。