检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
字段值设置为null。 json.timestamp-format.standard 否 'SQL' String 声明输入和输出的 TIMESTAMP 和 TIMESTAMP_LTZ 的格式。当前支持的格式为'SQL' 以及 'ISO-8601'： 可选参数 'SQL' 将会以
请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 plan_name 是 String 队列扩缩容计划名称，名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。 target_cu 是 Integer 队列扩缩容计划CU的目标值。 start_hour 是
Hudi Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。支持多种计算引擎，提供IUD接口，在HDFS的数据集上提供了插入更新和增量拉取的功能。 表1 支持类别 类别 详情 支持Flink表类型 源表、结果表 支持hudi表类型
不再支持混合使用年月字段和日时间字段 说明： Spark2.4.x：单位列表间隔文字可以混合使用年月字段（YEAR 和 MONTH）和日时间字段（WEEK、DAY、...、MICROSECOND）。 Spark3.3.x：单位列表间隔文字不能混合使用年月字段（YEAR 和 MONTH）和日时间字段（WEEK、DAY、
建：“表名_rt”和“表名_ro”两张表。查询后缀为rt的表等同于实时查询，查询后缀为ro的表代表读优化查询。例如：通过Spark SQL创建hudi表名为${table_name}， 同步元数据服务后，数据库中多出两张表分别为${table_name}_rt和${table_name}_ro。
queue_scaling_policies 是 Array of objects 该队列在该弹性资源池下的扩缩容策略信息。单条策略信息包含时间段、优先级和CU范围。每个队列至少要配置一条时间段为[00:00, 24:00]的默认扩缩容策略。详细参数说明请参考表3。 表3 queue_scaling_policies
标签的键的最大长度为128个字符，标签的键可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格，不能以_sys_开头。 value 是 String 标签的值。 说明： 标签值的最大长度为255个字符，标签的值可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格。
x在应用程序终止时会自动删除driver pod可能会影响到作业的资源管理和清理流程。 Spark3.3.x支持自定义k8s的调度器 说明： Spark2.4.x：不支持使用指定Kubernetes调度器来管理Spark作业的资源分配和调度。 Spark3.3.x：Spark3.3.x支持自定义k8s的调度器。
作业结果总条数。 input_size 否 long 作业执行过程中扫描的数据量。 schema 否 Array of Map 作业结果列名称和类型。 rows 否 Array of objects 作业结果集。 示例 请求样例： None 成功响应样例： { "is_success":
同时勾选“异常自动重启”，并勾选“从Checkpoint恢复”。配置后，作业异常重启，会从最新成功的Checkpoint文件恢复内部状态和消费位点，保证数据不丢失及聚合算子等内部状态的精确一致语义。同时，为了保证数据不重复，建议使用带主键数据库或者文件系统作为目标数据源，否则下
Spark SQL语法参考 提供SQL数据库、表、分区、导入及导出数据、自定义函数、内置函数等语法说明和样例指导。 使用Spark作业访问DLI元数据 提供SQL作业开发的操作指引和样例代码参考。 Spark SQL 相关API 提供SQL相关API的使用说明。 父主题： 创建并管理SQL作业模板
column_count 是 Integer 表的总列数。 columns 是 Array of Objects 表的列信息，包含列名称、类型和描述信息。具体参数详见表3。 table_type 是 String 表类型，包括： “MANAGED”：DLI表。 “EXTERNAL”：OBS表。
debezium-json.timestamp-format.standard 否 'SQL' String 声明输入和输出的时间戳格式。当前支持的格式为'SQL'和'ISO-8601'。 可选参数 'SQL' 将会以 "yyyy-MM-dd HH:mm:ss.s{precision}"
参考增强型跨源连接，在DLI上根据ClickHouse和Kafka集群所在的虚拟私有云和子网分别创建跨源连接，并绑定所要使用的Flink弹性资源池。 设置ClickHouse和Kafka集群安全组的入向规则，使其对当前将要使用的Flink作业队列网段放通。参考测试地址连通性根据ClickHouse和Kafka的地址测
Hbase HBase连接器支持读取和写入HBase集群。本文档介绍如何使用HBase连接器基于HBase进行SQL查询。 HBase连接器在upsert模式下运行，可以使用 DDL 中定义的主键与外部系统交换更新操作消息。但是主键只能基于HBase的rowkey字段定义。如果没
长度范围为3到63个字符，支持小写字母、数字、中划线（-）、英文句号（.）。 禁止两个英文句号（.）或英文句号（.）和中划线（-）相邻，禁止以英文句号（.）和中划线（-）开头或结尾。 禁止使用IP地址。 如果名称中包含英文句号（.），访问桶或对象时可能会进行安全证书校验。 导入
15升级指导。 切换至新版本计算引擎对DLI资源价格是否有影响？ DLI按作业运行所需的计算资源和存储资源计费，与计算引擎版本无关。 如何升级到Flink 1.15版本？ 在DLI管理控制台，购买弹性资源池和队列资源，用于提供执行作业所需的计算资源。 在DLI管理控制台，单击“作业管理 > Flink作业”。
12升级指导。 切换至新版本计算引擎对DLI资源价格是否有影响？ DLI按作业运行所需的计算资源和存储资源计费，与计算引擎版本无关。 如何升级到Flink 1.12版本？ 在DLI管理控制台，购买弹性资源池和队列资源，用于提供执行作业所需的计算资源。 在DLI管理控制台，单击“作业管理 > Flink作业”。
作业结果总条数。 input_size 否 long 作业执行过程中扫描的数据量。 schema 否 Array of Map 作业结果列名称和类型。 rows 否 Array of objects 作业结果集。 示例 请求样例： None 成功响应样例： { "is_success":
为包含待查询数据的表。 field1,field2...，field 表“DLI_TEST”中的列值，需要匹配表“DLI_TABLE”的列值和类型。 where_condition 查询过滤条件。 num 对查询结果进行限制，num参数仅支持INT类型。 values_row 想要插入到表中的值，列与列之间用逗号分隔。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
