检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“Checkpoint间隔”为两次触发Checkpoint的间隔，执行Checkpoint机制会影响实时计算性能，配置间隔时间需权衡对业务的性能影响及恢复时长，最好大于Checkpoint的完成时间，建议设置为5分钟。 Exactly Once模式保证每条数据只被消费一次，At Least Once模式每
compaction命令时，禁止将hoodie.run.compact.only.inline设置成false，该值需要设置成true。 错误示例： 配置参数 hoodie.run.compact.only.inline=false 随后执行SQL run compaction on
Formats默认的策略是根据Part文件大小进行滚动，需要指定文件打开状态最长时间的超时以及文件关闭后的非活动状态的超时时间。对于Bulk Formats在每次创建Checkpoint时进行滚动，并且用户也可以添加基于大小或者时间等的其他条件。更多信息参考文件系统 SQL 连接器 在STREA
经典型跨源连接或查询经典型跨源连接列表返回的连接ID。 请求消息 无请求参数。 响应消息 表2 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息，执行成功时，信息为空。
是否必选 参数类型 说明 create_time 否 Long 资源包上传的unix时间。是单位为“毫秒”的时间戳。 update_time 否 Long 更新已上传资源包的unix时间。是单位为“毫秒”的时间戳。 resource_type 否 String 资源类型，此处为file。
是 String 连接ID，用于标识跨源连接的UUID。 请求消息 无请求参数。 响应消息 表2 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息，执行成功时，信息为空。
tags 否 String 查询根据标签进行过滤。 请求消息 无请求参数。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 请求执行是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息，执行成功时，信息可能为空。
钥一起使用，对请求进行加密签名。 SK(Secret Access Key)：与访问密钥ID结合使用的密钥，对请求进行加密签名，可标识发送方，并防止请求被修改。 使用AK/SK认证时，您可以基于签名算法使用AK/SK对请求进行签名，也可以使用专门的签名SDK对请求进行签名。 详细
100 Integer flush前缓存记录的最大值，可以设置为 '0' 来禁用它。 sink.buffer-flush.interval 否 1s Duration flush间隔时间，超过该时间后异步线程将flush数据。可以设置为 '0' 来禁用它。如果想完全异步地处理缓存的flush事件，可以将
准备一个linux弹性云服务器ECS，用于安装DLI Livy。 ECS需要放通30000至32767端口、8998端口。具体操作请参考添加安全组规则。 ECS需安装Java JDK，JDK版本建议为1.8。配置Java环境变量JAVA_HOME。 查询弹性云服务器ECS详细信息，获取ECS的“私有IP地址”。
Delta常见配置参数 提交DLI Spark SQL作业时，在“SQL编辑器”界面右上角的“设置 > 参数设置”中配置Delta参数。 表1 Delta常见配置项 参数 描述 默认值 spark.databricks.delta.retentionDurationCheck.enabled
跨源连接RDS表中create_date字段类型是datetime，为什么DLI中查出来的是时间戳呢？ Spark中没有datetime数据类型，其使用的是TIMESTAMP类型。 您可以通过函数进行转换。 例如： select cast(create_date as string)
是否必选 参数类型 说明 create_time 否 Long 资源包上传的unix时间。是单位为“毫秒”的时间戳。 update_time 否 Long 更新已上传资源包的unix时间。是单位为“毫秒”的时间戳。 resource_type 否 String 资源类型，此处为jar。 resource_name
是否必选 参数类型 说明 create_time 否 Long 资源包上传的unix时间。是单位为“毫秒”的时间戳。 update_time 否 Long 更新已上传资源包的unix时间。是单位为“毫秒”的时间戳。 resource_type 否 String 资源类型，此处为pyFile。
参数名称 是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息，执行成功时，信息可能为空。 请求示例 创建一个测试数据库名称为db1。 { "database_name":
keyword=tb&with-detail=true 请求消息 无请求参数。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success 是 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 是 String 系统提示信息，执行成功时，信息可能为空。
String 作业ID。可通过提交SQL作业（推荐）获取。 请求消息 无请求参数。 响应消息 表2 响应参数 参数名称 是否必选 参数类型 说明 is_success 是 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 是 String 系统提示信息，执行成功时，信息可能为空。
String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 请求消息 无请求参数。 响应消息 表2 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息，执行成功时，信息可能为空。
name}/partitions?part=part2 请求消息 无请求参数。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息，执行成功时，信息可能为空。
"Timeout expired while fetching topic metadata" ，说明Flink作业在尝试获取Kafka主题的元数据时超时了。 此时您需要先检查Flink作业和Kafka的网络连通性，确保执行Flink作业所在的队列可以访问Kafka所在的VPC网络。 若果网
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
