数据接入服务 DIS-添加转储任务:添加转储到MapReduce服务（MRS）的转储任务

时间：2025-01-26 10:36:48

数据接入服务 DIS

添加转储到 MapReduce服务（ MRS ）的转储任务

  
       CreateTransferTaskRequest request = new CreateTransferTaskRequest();//配置通道名称：用户在 数据接入服务 (简称DIS)控制台创建通道request.setStreamName(streamName);//添加MRS转储任务，并设置任务名称MRSDestinationDescriptorRequest descriptor = new MRSDestinationDescriptorRequest();descriptor.setTransferTaskName(taskName);// 配置MRS集群信息：集群名称和集群ID。可通过弹性大数据服务(简称MRS)控制台创建和查询，集群需为非安全模式descriptor.setMrsClusterName("mrs_dis");descriptor.setMrsClusterId("fe69a732-c7d3-4b0f-8cda-ec9eca0cf141");// 转储MRS通过OBS服务中转，需配置OBS桶名和子文件夹名，此目录也用于保存转储失败的源数据文件。可通过OBS控制台或客户端创建桶和文件夹descriptor.setObsBucketPath("obs-dis");descriptor.setFilePrefix("transfertask");// 转储周期，单位sdescriptor.setDeliverTimeInterval(900);// 可选：在DIS管理页面自动创建dis_admin_agency委托后，默认采用此委托。如未创建过 IAM 委托，请用主账户登录DIS控制台并创建通道，点击“添加转储任务”，前往授权。descriptor.setAgencyName("dis_admin_agency");// 转储OBS的目标文件格式：默认text，可配置parquet、carbondescriptor.setDestinationFileType(DestinationFileTypeEnum.TEXT.getType());// 设置从DIS通道拉取数据时的初始偏移量: 默认LATEST，从通道内最新上传的记录开始读取; TRIM_HORIZON，从通道内最早的未过期记录开始读取descriptor.setConsumerStrategy(PartitionCursorTypeEnum.LATEST.name());request.setMrsDestinationDescriptor(descriptor);