检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
None 服务介绍 数据湖探索 DLI 介绍什么是数据湖探索 02:47 数据湖探索DLI产品介绍 功能介绍 数据湖探索 DLI 熟悉数据湖探索控制台 03:10 数据湖探索控制台介绍 操作指导 数据湖探索 DLI 介绍怎样创建提交SQL作业 07:36 数据湖探索SQL作业入门指导
也可以设置hoodie.datasource.write.operation的来控制insert语句的写入方式,可选包括bulk_insert、insert、upsert。(注意:会覆盖配置的hoodie.sql.insert.mode的结果) hoodie.datasource.write.operation
alse。 带入query参数的URL示例如下: DELETE /v1.0/{project_id}/databases/{database_name}?cascade={is_cascade}&async={is_asyn} 请求消息 无 响应消息 表3 响应参数 参数名称 是否必选
ARCHIVELOG 命令功能 用于根据配置对Timeline上的Instant进行归档,并从Timeline上将已归档的Instant删除,以减少Timeline的操作压力。 命令格式 RUN ARCHIVELOG ON tableIdentifier; RUN ARCHIVELOG
'obs://bucket/path/h1'; 注意事项 使用API方式对SQL创建的Hudi表触发Compaction时需要添加参数hoodie.payload.ordering.field为preCombineField的值。 使用由DLI提供的元数据服务时,本命令不支持使用OBS路径。 系统响应 可以检查
项目编号,用于资源隔离。获取方式请参考获取项目ID。 database_name 是 查看表所在的数据库名称。 keyword 否 过滤表名称的关键词。 with-detail 否 是否获取表的详细信息(所有者,size等)。 请求消息 无请求参数。 响应消息 表2 响应参数 参数 是否必选 参数类型 说明 is_success
重启/扩容/缩容队列 功能介绍 该API用于重新启动队列、扩容队列、缩容队列。 只有SQL类型的队列支持重启,且重启的时候队列的状态必须是可用状态(执行SQL作业成功后队列状态才是可用状态)。 调试 您可以在API Explorer中调试该接口。 URI URI格式: PUT /v1
预览SQL作业查询结果 功能介绍 该API用于在执行SQL查询语句的作业完成后,查看该作业执行的结果。目前仅支持查看“QUERY”类型作业的执行结果。 该API只能查看前1000条的结果记录,且不支持分页查询。若要查看全部的结果记录,需要先导出查询结果再进行查看,详细请参见导出查询结果。
String 连接ID,用于标识跨源连接的UUID。 destination 否 String 创建连接时,用户填写的队列的访问地址。 state 否 String 连接状态,具体状态请参见表4。 process 否 Double 正在创建的跨源连接进度,显示0.0至1.0代表0%至100%。
否 Integer 起始批处理作业的索引号,默认从0开始。 size 否 Integer 查询批处理作业的数量。 state 否 String 根据作业状态查询批作业。 owner 否 String 提交作业的用户。 请求消息 无请求参数。 响应消息 表3 响应参数说明 参数名称 是否必选
of strings 该模块包含的资源包名列表。 details 否 Array of body 分组资源包的详细信息。具体请参考表4。 create_time 否 Long 模块上传的unix时间戳。 update_time 否 Long 模块更新的unix时间戳。 is_async
start_minute 否 Integer 队列扩缩容计划的起始分钟时间。 repeat_day 是 Array of strings 定时扩缩容计划的重复周期,可以选择周一到周日的某一天、某几天、或者不选择。如果不选择,则会在当前时间后的start_hour:start_minute时间点执行扩缩容计划。例如:
entrypoint 否 String 用户已上传到DLI资源管理系统的程序包名,用户自定义作业主类所在的jar包。 dependency_jars 否 Array of Strings 用户已上传到DLI资源管理系统的程序包名,用户自定义作业的其他依赖包。 示例“myGroup/test.jar
Database中的表名,由字母、数字和下划线(_)组成。 bucket_name obs桶名称。 tbl_path Delta表在obs桶中的存储位置。 constraint_name 约束名称。 所需权限 SQL权限 表2 DROP CONSTRAINT所需权限列表 权限描述 表的ALTER权限
String 每个算子的流量/命中率配置,json格式的字符串。 当static_estimator为true时需要配置该参数,配置时传入算子ID和算子流量配置。 可先行调用该接口获取算子ID,即响应消息中stream_graph包含的operator_list中的id即为算子ID。
DLI跨源分析场景连接外部数据源时,由于数据源的VPC与DLI VPC不同,网络无法连通,导致DLI无法读取数据源数据。DLI提供的增强型跨源连接功能可以实现DLI与数据源的网络连通。 本节操作为您介绍跨VPC的数据源网络连通方案: 创建增强型跨源连接:采用对等连接的方式打通DLI与数据源的VPC网络。 测试
of strings 该模块包含的资源包名列表。 details 否 Array of body 分组资源包的详细信息。具体请参考表4。 create_time 否 Long 模块上传的unix时间戳。 update_time 否 Long 模块更新的unix时间戳。 is_async
参数类型 描述 limit 否 Integer 每页的数量。默认为100。 offset 否 Integer 偏移量。默认为0。 queue_name 否 String 可以根据queueName进行过滤。 请求消息 无。 响应消息 表3 响应参数说明 参数 是否必填 参数类型 描述
of Objects 各个队列创建跨源连接的信息,详细信息请参考表5。 dest_vpc_id 否 String 对应服务的虚拟私有云标识。具体内容可参考《虚拟私有云API参考》。 dest_network_id 否 String 对应服务的子网网络标识。具体内容可参考《虚拟私有云API参考》。
SDK获取与安装 Python SDK安装方式 本节操作介绍安装Python SDK的操作指导。 获取DLI SDK 在“DLI SDK DOWNLOAD”页面,单击选择所需的SDK链接,即可获取对应的SDK安装包。 “dli-sdk-python-x.x.x.zip”压缩包,解压后目录结构如下: