检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在“数据库”选项中选择要对接的DLI元数据中的数据库，即可对接到DLI元数据。 DLI通用队列对接DLI元数据方法： 请参考使用Spark作业访问DLI元数据。 DLI SQL队列对接Lakeformation元数据方法： 参考DLI对接LakeFormation。 DLI通用队列对
clickhouse.ClickHouseDriver”。 connector.username 否 访问ClickHouse数据库的账号。 connector.password 否 访问ClickHouse数据库账号的密码。 connector.write.flush.max-rows
分组资源包的详细信息。具体请参考表5。 create_time 否 Long 模块上传的unix时间戳。 update_time 否 Long 模块更新的unix时间戳。 is_async 否 Boolean 是否使用异步方式上传资源包。默认值为“false”，表示不使用异步方式。推荐使用异步方式上传资源包。
当“resume_savepoint”为“true”时，表示作业从最近创建的保存点恢复。 当“resume_savepoint”为“false”时，表示不恢复正常启动。 默认为“false”。 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 数组元素 否 Array of Objects
开发指导 Spark SQL语法参考 提供SQL数据库、表、分区、导入及导出数据、自定义函数、内置函数等语法说明和样例指导。 使用Spark作业访问DLI元数据 提供SQL作业开发的操作指引和样例代码参考。 Spark SQL 相关API 提供SQL相关API的使用说明。 父主题： 创建并管理SQL作业模板
0支持 DLI自定义委托 跨源分析场景，DLI需具备访问其他云服务的委托权限，即允许DLI在其他云服务中代表用户或服务执行操作，才能够在执行作业时读写数据、执行特定操作。 DLI委托可以确保DLI在跨源分析场景中安全、有效地访问其他云服务。 发布区域：全部 创建DLI自定义委托 OBS
File System）是对象存储服务（Object Storage Service，OBS）提供的一种经过优化的高性能文件系统，提供毫秒级别访问时延，以及TB/s级别带宽和百万级别的IOPS，能够快速处理高性能计算（HPC）工作负载。 并行文件系统的详细介绍和使用说明，请参见《并行文件系统特性指南》。
弹性资源池网段设置后不支持更改。 仅支持查看30天以内的弹性资源池扩缩容历史。 弹性资源池无法直接访问公网。 弹性资源池关联队列 弹性资源池关联队列： 仅支持关联按需计费模式的队列（包括专属队列）。 队列和弹性资源池状态正常，资源未被冻结。 弹性资源池扩缩容 弹性资源池CU设置、弹性资源池中添加/删除
数据源类型，“dis”表示数据源为数据接入服务，必须为dis。 connector.region 是 数据所在的DIS区域。 connector.ak 否 访问密钥ID(Access Key ID)，需与sk同时设置 connector.sk 否 Secret Access Key，需与ak同时设置
rk/Flink引擎可能会导致作业因依赖冲突而执行失败。 计算引擎版本生命周期 表1给出了DLI计算引擎版本生命周期，帮助您规划自己的版本更新节奏。 表1 DLI计算引擎版本生命周期 计算引擎类型 版本名称 状态 EOM时间 EOS时间 Flink DLI Flink 1.15 已发布
source算子checkpoint完成时间过长 当Hudi Source算子checkpoint完成时间长时，检查该Hudi表Compaction是否正常。因为当长时间不做Compaction时list性能会变差。 流读Hudi MOR表时，建议开启log index特性提升Flink流读性能
参数类型 说明 create_time Long 资源包上传的unix时间。是单位为“毫秒”的时间戳。 update_time Long 更新已上传资源包的unix时间。是单位为“毫秒”的时间戳。 resource_type String 资源类型。 resource_name String
例如：obs://rest-authinfo/tools/oracle/driver/ojdbc6.jar resource中定义的driver jar包如果被更新，需要重启队列，才会生效。 示例 创建Oracle跨源表 1 2 3 4 5 6 7 8 9 CREATE TABLE IF NOT EXISTS
每一个增强型跨源对每一个绑定的队列都会创建一个对等连接。该对等连接用于实现跨VPC通信，请确保数据源使用的安全组开放了DLI队列网段的访问，并且在使用跨源过程中不要删除该对等连接。 对等连接的连接状态： 跨源连接的状态信息，包括以下三种状态：创建中、已激活、已失败。 当连接状
File System）是对象存储服务（Object Storage Service，OBS）提供的一种经过优化的高性能文件系统，提供毫秒级别访问时延，以及TB/s级别带宽和百万级别的IOPS，能够快速处理高性能计算（HPC）工作负载。 并行文件系统的详细介绍和使用说明，请参见《并行文件系统特性指南》。
Flink在写Hudi的MOR表只会生成log文件，后续通过compaction操作，将log文件转为parquet文件。Spark在更新Hudi表时严重依赖parquet文件是否存在，如果当前Hudi表写的是log文件，采用Spark写入就会导致重复数据的产生。在批量初始化阶段
is_sensitive 否 Boolean 是否设置为敏感变量。 create_time 否 Long 创建时间。 update_time 否 Long 更新时间。 请求示例 无 响应示例 { "is_success": true, "message": "string",
管理DLI资源配额 什么是配额？ 为防止资源滥用，平台限定了各服务资源的配额，对用户的资源数量和容量做了限制。 如果当前资源配额限制无法满足使用需要，您可以申请扩大配额。 怎样查看我的配额 登录管理控制台。 单击管理控制台左上角的，选择区域和项目。 在页面右上角，选择“资源 > 我的配额”。
“db_name” 的数据库一起注册到 metastore 中。使用 db_name.table_name 的表将会被注册到当前执行的 table environment 中的 catalog 且数据库会被命名为 “db_name”；对于 table_name, 数据表将会被注册到当前正在运行的catalog和数据库中。
查询资源实例列表 功能介绍 该接口用于查询资源实例列表。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v3/{project_id}/{resourc
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
