检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
rRequest(); descriptor.setTransferTaskName(taskName); // 配置DLI相关信息:数据库和内表名称。可通过数据湖探索(简称DLI)控制台创建和查询,DLI表需为内表 descriptor.setDliDatabaseName("dis_dli");
dws_database_name 是 String 存储该通道数据的DWS数据库名称。 dws_schema 是 String 存储该通道数据的DWS数据库模式。 dws_table_name 是 String 存储该通道数据的DWS数据库模式下的数据表。 dws_delimiter 是 String
通道的转储任务名称不可重复。任务名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。 - DLI数据库 单击“选择”,在“选择DLI数据库”窗口选择一个数据库。 此配置项仅支持选择,不可手动输入。 - DLI数据表 单击“选择”,在“选择DLI数据表”窗口选择一个数据
单击“选择”,在“选择DWS集群”窗口选择一个集群。 此配置项仅支持选择,不可手动输入。 - DWS数据库 存储该通道数据的DWS数据库名称。 手动输入,不可配置为空。 - 数据库模式 一个数据库包含一个或多个命名的模式,模式又包含表。模式还包含其他命名的对象,包括数据类型、函数,以及操
dws_database_name String 存储该通道数据的DWS数据库名称。 dws_schema String 存储该通道数据的DWS数据库模式。 dws_table_name String 存储该通道数据的DWS数据库模式下的数据表。 dws_delimiter String 用
创建数据库 在Console页面上方菜单栏中单击“产品”,单击“大数据”分类中的“数据湖探索 DLI”。 创建demo数据库,在DLI控制台总览页面,选择“SQL作业”,单击“创建作业”,进入SQL作业编辑器。 在SQL作业编辑器左侧,选择“数据库”,单击创建数据库。 “de
设置偏移量提交时间间隔 手动提交 在有些场景可能对消费偏移量有更精确的管理,以保证消息不被重复消费以及消息不被丢失。假设对拉取到的消息需要进行写入数据库处理,或者用于其他网络访问请求等等复杂的业务处理,在这种场景下,所有的业务处理完成后才认为消息被成功消费,此时必须手动控制偏移量的提交。使用手动提交相关参数设置如下:
设置偏移量提交时间间隔 手动提交 在有些场景可能对消费偏移量有更精确的管理,以保证消息不被重复消费以及消息不被丢失。假设对拉取到的消息需要进行写入数据库处理,或者用于其他网络访问请求等等复杂的业务处理,在这种场景下,所有的业务处理完成后才认为消息被成功消费,此时必须手动控制偏移量的提交。使用手动提交相关参数设置如下:
从该分区值开始返回分区列表,返回的分区列表不包括此分区。 checkpoint_type 是 String Checkpoint类型。 LAST_READ:在数据库中只记录序列号。 枚举值: LAST_READ 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
400 DIS.4337 The DLI database does not exist. 创建DLI转储任务时,传入的DLI数据库不存在 请检查传入的DLI数据库是否存在。 400 DIS.4338 The DLI table does not exist. 创建DLI转储任务时,传入的DLI数据表不存在
400 DIS.4337 The DLI database does not exist. 创建DLI转储任务时,传入的DLI数据库不存在 请检查传入的DLI数据库是否存在。 400 DIS.4338 The DLI table does not exist. 创建DLI转储任务时,传入的DLI数据表不存在
功能介绍 该接口用于批量添加资源(通道等)标签。此接口为幂等接口:创建时如果请求体中存在重复key则报错。创建时,不允许设置重复key数据,如果数据库已存在该key,就覆盖value的值。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/stream
ADVANCED:高级通道,表示5MB带宽。 枚举值: COMMON ADVANCED data_type 否 String 源数据类型。 BLOB:存储在数据库管理系统中的一组二进制数据。 JSON:一种开放的文件格式,以易读的文字为基础,用来传输由属性值或者序列性的值组成的数据对象。 CSV:纯
生命周期(小时) 存储在DIS中的数据保留的最长时间,超过此时长数据将被清除。 取值范围:24~72的整数。 24 源数据类型 BLOB:存储在数据库管理系统中的一组二进制数据。“源数据类型”选择“BLOB”,则支持的“转储服务类型”为“OBS”、“MRS”。 JSON:一种开放的文件格
缺省值:LATEST 枚举值: LATEST TRIM_HORIZON dli_database_name 是 String 存储该通道数据的DLI数据库名称。 dli_table_name 是 String 存储该通道数据的DLI表名称。 说明: 仅支持数据位置为DLI的表,且用户需具有该表的插入权限。
生命周期(小时) 存储在DIS中的数据保留的最长时间,超过此时长数据将被清除。 取值范围:24~72的整数。 24 源数据类型 BLOB:存储在数据库管理系统中的一组二进制数据。“源数据类型”选择“BLOB”,则支持的“转储服务类型”为“OBS”、“MRS”。 JSON:一种开放的文件格
生命周期(小时) 存储在DIS中的数据保留的最长时间,超过此时长数据将被清除。 取值范围:24~72的整数。 24 源数据类型 BLOB:存储在数据库管理系统中的一组二进制数据。“源数据类型”选择“BLOB”,则支持的“转储服务类型”为“OBS”、“MRS”。 JSON:一种开放的文件格
符,需要先通过创建App接口创建。 checkpoint_type 是 String Checkpoint类型。 LAST_READ:在数据库中只记录序列号。 枚举值: LAST_READ stream_name 是 String 已创建的通道名称。 partition_id 是
该Checkpoint关联App名称。 checkpoint_type 是 String Checkpoint类型。 LAST_READ:在数据库中只记录序列号。 枚举值: LAST_READ 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
该Checkpoint关联App名称。 最小长度:1 最大长度:50 checkpoint_type 是 String Checkpoint类型。 LAST_READ:在数据库中只记录序列号。 枚举值: LAST_READ partition_id 否 String 该Checkpoint所属的通道分区标识符。可定义为如下两种样式:-