检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表1给出了DLI计算引擎版本生命周期,帮助您规划自己的版本更新节奏。 表1 DLI计算引擎版本生命周期 计算引擎类型 版本名称 状态 EOM时间 EOS时间 Flink DLI Flink 1.15 已发布 2025年6月30日 2026年6月30日 DLI Flink 1.12 EOS
create_time 是 Long 创建时间。 last_access_time 是 Long 最后改动时间。 locations 否 Array of Strings 路径,非DLI表显示,DLI表不显示。 last_ddl_time 否 Long 最后一个ddl语句执行时间,(单位:秒(s))。
证数据不重复,建议使用带主键数据库或者文件系统作为目标数据源,否则下游处理业务需要加上去重逻辑(最新成功Checkpoint记录位点到异常时间段内的数据会重复消费)。 图1 Flink作业配置参数 对于Flink Jar作业,您需要在代码中开启Checkpoint,同时如果有自定
用户名。 is_sensitive 否 Boolean 是否设置为敏感变量。 create_time 否 Long 创建时间。 update_time 否 Long 更新时间。 请求示例 无 响应示例 { "is_success": true, "message": "string"
char、string时,可以通过“fields.#.length”参数指定长度。当指定的字段类型为时间戳类型时,可以通过“fields.#.max-past”参数指定相对当前时间向过去偏移的最大值。 sequence表示有界的序列生成器。您可以通过“fields.#.start”和“fields
的起始位置,与start-time不能同时设置。 connector.start-time 否 DIS数据读取从该起始时间的数据。 当该参数配置时则从配置的时间开始读取数据,有效格式为yyyy-MM-dd HH:mm:ss。 当没有配置start-time也没配置offset的时候,读取最新数据。
数学函数和运算符 Bitwise函数 十进制函数和操作符 字符串函数和运算符 正则表达式函数 二进制函数和运算符 Json函数和运算符 日期、时间函数及运算符 聚合函数 窗口函数 数组函数和运算符 Map函数和运算符 URL函数 UUID函数 Color 函数 Teradata函数 Data
出发城市 targetCity string 到达城市 expectArriveTime timestamp 期望送达时间 time timestamp 记录产生时间 action string 事件类型,包括创建订单、开始发货、货物送达、订单签收等事件 步骤1:上传数据 将数据上
connector.lookup.cache.ttl 否 维表配置,缓存超时时间,超过该时间的数据会被剔除。格式为:{length value}{time unit label},如123ms, 321s,支持的时间单位包括: d,h,min,s,ms等,默认为ms。 connector
connector.lookup.cache.ttl 否 维表配置,缓存超时时间,超过该时间的数据会被剔除。格式为:{length value}{time unit label},如123ms, 321s,支持的时间单位包括: d,h,min,s,ms等,默认为ms。 connector
standard 否 'SQL' String 声明输入和输出的时间戳格式。当前支持的格式为'SQL'和'ISO-8601'。 可选参数 'SQL' 将会以 "yyyy-MM-dd HH:mm:ss.s{precision}" 的格式解析时间戳, 例如 '2020-12-30 12:13:14
job_finish:已完成 status_desc 否 String 作业状态描述。 create_time 否 Long 作业创建时间。 start_time 否 Long 作业启动时间。 user_id 否 String 作业所属用户标识。 queue_name 否 String 队列名称。长度限制:1-128个字符。
connector.write.flush.interval 否 刷新数据的时间间隔,单位可以为ms、milli、millisecond/s、sec、second/min、minute等。不填写则默认不根据时间刷新 connector.write.max-retries 否 写数据失败时的最大尝试次数。默认值为3
String 模板名称。 desc 否 String 模板描述。 create_time 否 Long 模板创建时间。 update_time 否 Long 模板更新时间。 sql_body 否 String Stream SQL语句。至少包含source、 query、sink三个部分。
最早:最小偏移量,即拉取最早的数据。 已提交:拉取已提交的数据。 时间范围:拉取时间范围内的数据。 是否持久运行 用户自定义是否永久运行。当前示例选择为:否。 拉取数据超时时间 持续拉取数据多长时间超时,单位分钟。当前示例配置为:15。 等待时间 可选参数,超出等待时间还是无法读取到数据,则不再读取数据,单位秒。当前示例不配置该参数。
"Q1_价格摘要报告查询", "sql": "-- Q1: 价格摘要报告查询。\r\n-- 在单个表lineitem上查询某个时间段内,对已经付款的、已经运送的等各类商品进行统计,包括业务量的计费、发货、折扣、税、平均价格等信息。\r\n-- 特点:带有分组、排序、聚
设置两次checkpoint的最小间隔时间 env.getCheckpointConfig().setMinPauseBetweenCheckpoints(60000); // 设置checkpoint超时时间 env
要使用的清理政策。Hudi将删除旧版本的parquet文件以回收空间。 任何引用此版本文件的查询和计算都将失败。建议确保数据保留的时间超过最大查询执行时间。 KEEP_LATEST_COMMITS hoodie.cleaner.commits.retained 保留的提交数。因此,
2:表示at_least_once,数据至少被消费一次。 默认值为1。 checkpoint_interval 否 Integer 快照时间间隔。单位为秒,默认值为“10”。 obs_bucket 否 String 当“checkpoint_enabled”为“true”时,该参数是用户授权保存快照的OBS桶名。
defaults.logRetentionDuration或delta.logRetentionDuration Delta log文件过期时间。每当Delta log进行checkpoint动作时,会检查是否有需要删除的过期文件,如果有,则删除这些过期文件以防Delta log文件无限增长。