正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
连接OBS 介绍 DIS可以向对象存储服务(Object Storage Service,简称OBS)上传数据。 前提条件 已参考自动创建委托创建IAM委托,授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时,DIS会将通道数据周期性导入OBS。
与其他服务的关系 介绍DIS与其他服务的关系。 对象存储服务(Object Storage Service,简称OBS) 在用户购买接入通道时选择数据转储至OBS,用户上传的数据会存储至对象存储服务(OBS)。 统一身份认证服务(Identity and Access Management,简称IAM)
点,帮助企业以公司、部门、项目等分级管理方式实现企业云上的人员、资源、权限、财务的管理。 已开通企业项目服务的用户,可以使用企业项目管理华为云上的云服务资源。 绑定企业项目 用户可以在创建通道时为通道选择所属的企业项目,从而将DIS通道与企业项目进行关联,详情请参见步骤1:开通D
setTransferTaskName(taskName); // 转储至对象存储服务(简称OBS):OBS桶名和子文件夹名,通过OBS控制台或客户端创建桶和文件夹 descriptor.setObsBucketPath("obs-dis1"); descriptor.setFilePrefix("transfertask");
步骤3:发送数据到DIS 功能简介 将用户本地数据通过DIS通道不断上传至DIS服务。 目前数据支持存储至DIS和对象存储服务(Object Storage Service,简称OBS)MapReduce服务(MapReduce Service,简称MRS)、数据仓库服务(Data Warehouse
步骤3:发送数据到DIS 功能简介 将用户本地数据通过DIS通道不断上传至DIS服务。 目前数据支持存储至DIS和对象存储服务(Object Storage Service,简称OBS)MapReduce服务(MapReduce Service,简称MRS)、数据仓库服务(Data Warehouse
setTransferTaskName(taskName); // 转储至对象存储服务(简称OBS):OBS桶名和子文件夹名,通过OBS控制台或客户端创建桶和文件夹 descriptor.setObsBucketPath("obs-dis"); descriptor.setFilePrefix("transfertask");
String 转储任务类型。 OBS:转储到OBS MRS:转储到MRS DLI:转储到DLI CLOUDTABLE:转储到CloudTable DWS:转储到DWS 缺省值:NOWHERE 枚举值: OBS obs_destination_descriptor 否 OBSDestinationDescriptorRequest
request.setTransferTaskName(taskName); 配置“DescribeTransferTaskRequest”对象之后,通过调用describeTransferTask的方法查询指定的转储任务详情。 1 DescribeTransferTaskResult
指定待查询的通道名称 request.setStreamName(streamName); 配置“ListTransferTaskRequest”对象之后,通过调用listTransferTask的方法查询指定通道的转储任务列表。 1 ListTransferTasksResult result
接收用户获取数据的请求,在鉴权后输出对应的用户数据。 按时老化存储在系统中的用户数据。 根据用户配置,将用户数据存储到对象存储服务(Object Storage Service,简称OBS)、MapReduce服务(MapReduce Service,简称MRS)、数据仓库服务(Data Warehouse
request.setTransferTaskName(taskName); 配置“DeleteTransferTaskRequest”对象之后,通过调用deleteTransferTask的方法删除转储任务。 1 dic.deleteTransferTask(request);
deleteStreamRequest.setStreamName(streamName); 配置“DeleteStreamRequest”对象之后,通过对客户端调用deleteStream的方法删除通道。 1 dic.deleteStream(deleteStreamRequest);
说明: 仅支持数据位置为DLI的表,且用户需具有该表的插入权限。 obs_bucket_path 是 String 临时存储该通道数据的OBS桶名称。 file_prefix 否 String 临时存储该通道数据的OBS桶下的自定义目录,多级目录可用“/”进行分隔,不可以“/”开头。
取值范围:0~50个字符。 默认配置为空。 obs_bucket_path 是 String 临时存储该通道数据的OBS桶名称。 retry_duration 否 String 用户数据转储失败的失效重试时间。重试时间超过该配置项配置的值,则将转储失败的数据备份至“OBS桶/ file_prefix/mrs_error”目录下。
createStreamRequest.setDataType(DataTypeEnum.BLOB.name()); 配置“CreateStreamRequest”对象之后,通过调用createStream的方法创建通道。 1 dic.createStream(createStreamRequest);
setCheckpointType(CheckpointTypeEnum.LAST_READ.name()); 配置“CommitCheckpointRequest”对象之后,通过调用 commitCheckpoint 提交checkpoint。 dic.commitCheckpoint(commitCheckpointRequest);
destination_type String 转储任务类型。 OBS:转储到OBS。 MRS:转储到MRS。 DLI:转储到DLI。 CLOUDTABLE:转储到CloudTable。 DWS:转储到DWS。 枚举值: OBS MRS DLI CLOUDTABLE DWS create_time
下载数据之消费位移 消费位移确认有自动提交与手动提交两种策略,在创建DISKafkaConsumer对象时,通过参数enable.auto.commit设定,true表示自动提交(默认)。 自动提交策略由消费者协调器(Coordinator)每隔${auto.commit.interval