数据接入服务 DIS-添加转储任务:添加转储到对象存储服务(OBS)的转储任务

时间:2025-01-26 10:36:48

添加转储到 对象存储服务 (OBS)的转储任务

 1 2 3 4 5 6 7 8 91011121314151617181920212223242526
CreateTransferTaskRequest request = new CreateTransferTaskRequest();// 配置通道名称:用户在 数据接入服务 (简称DIS)控制台创建通道request.setStreamName(streamName);// 添加OBS转储任务,并设置任务名称OBSDestinationDescriptorRequest descriptor = new OBSDestinationDescriptorRequest();descriptor.setTransferTaskName(taskName);// 转储至对象存储服务(简称OBS):OBS桶名和子文件夹名,通过OBS控制台或客户端创建桶和文件夹descriptor.setObsBucketPath("obs-dis");descriptor.setFilePrefix("transfertask");// 转储周期,单位sdescriptor.setDeliverTimeInterval(900);// 可选:在DIS管理页面自动创建名称为“dis_admin_agency”的 IAM 委托,默认采用此委托,用于授权访问。如未创建过IAM委托,请用主账户登录DIS控制台并创建通道,点击“添加转储任务”,前往授权。descriptor.setAgencyName("dis_admin_agency");// 可选,转储OBS的目标文件格式:默认text,可配置parquet、carbondescriptor.setDestinationFileType(DestinationFileTypeEnum.TEXT.getType());// 设置从DIS通道拉取数据时的初始偏移量: 默认LATEST,从通道内最新上传的记录开始读取; TRIM_HORIZON,从通道内最早的未过期记录开始读取descriptor.setConsumerStrategy(PartitionCursorTypeEnum.LATEST.name());request.setObsDestinationDescriptor(descriptor);
support.huaweicloud.com/sdkreference-dis/dis_06_0111.html