检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据用户配置,将用户数据存储到对象存储服务(Object Storage Service,简称OBS)、MapReduce服务(MapReduce Service,简称MRS)、数据仓库服务(Data Warehouse Service,简称DWS)、数据湖探索(Data Lake
区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。
对象存储服务(Object Storage Service,简称OBS) 在用户购买接入通道时选择数据转储至OBS,用户上传的数据会存储至对象存储服务(OBS)。
连接OBS 介绍 DIS可以向对象存储服务(Object Storage Service,简称OBS)上传数据。 前提条件 已参考自动创建委托创建IAM委托,授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。
连接OBS 介绍 DIS可以向对象存储服务(Object Storage Service,简称OBS)上传数据。 前提条件 已参考自动创建委托创建IAM委托,授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。
createStreamRequest.setDataDuration(24); // 通道的源数据类型:缺省值:BLOB createStreamRequest.setDataType(DataTypeEnum.BLOB.name()); 配置“CreateStreamRequest”对象之后
目前数据支持存储至DIS和对象存储服务(Object Storage Service,简称OBS)MapReduce服务(MapReduce Service,简称MRS)、数据仓库服务(Data Warehouse Service,简称DWS)、数据湖探索(Data Lake Insight
目前数据支持存储至DIS和对象存储服务(Object Storage Service,简称OBS)MapReduce服务(MapReduce Service,简称MRS)、数据仓库服务(Data Warehouse Service,简称DWS)、数据湖探索(Data Lake Insight
DeleteStreamRequest deleteStreamRequest = new DeleteStreamRequest(); deleteStreamRequest.setStreamName(streamName); 配置“DeleteStreamRequest”对象之后
自动创建委托 用户创建DIS通道,选择将数据转储到对象存储服务(Object Storage Service,简称OBS)、MapReduce服务(MRS)集群、数据仓库服务(Data Warehouse Service,简称DWS)或数据湖探索(Data Lake Insight
自动创建委托 用户创建DIS通道,选择将数据转储到对象存储服务(Object Storage Service,简称OBS)、MapReduce服务(MRS)集群、数据仓库服务(Data Warehouse Service,简称DWS)或数据湖探索(Data Lake Insight
Uptime: 30146ms 在OBS查看上传文件 登录对象存储服务管理控制台。 在左侧导航栏选择“桶列表”页签。 在右侧表格中,“桶名称”列单击对应的桶名称,即申请DIS通道中配置的“桶名称”。 在弹出的桶页面中单击左侧导航栏“对象”页签,查看已上传的文件。
commitCheckpointRequest.setPartitionId("0"); // Checkpoint类型 commitCheckpointRequest.setCheckpointType(CheckpointTypeEnum.LAST_READ.name()); 配置“CommitCheckpointRequest”对象之后
ListTransferTasksRquest request = new ListTransferTasksRquest(); // 指定待查询的通道名称 request.setStreamName(streamName); 配置“ListTransferTaskRequest”对象之后
配置待更新的转储任务名称 OBSDestinationDescriptorRequest descriptor = new OBSDestinationDescriptorRequest(); descriptor.setTransferTaskName(taskName); // 转储至对象存储服务
下载数据之消费位移 消费位移确认有自动提交与手动提交两种策略,在创建DISKafkaConsumer对象时,通过参数enable.auto.commit设定,true表示自动提交(默认)。
下载数据之消费位移 消费位移确认有自动提交与手动提交两种策略,在创建DISKafkaConsumer对象时,通过参数enable.auto.commit设定,true表示自动提交(默认)。
// 指定待查询的通道名称 request.setStreamName(streamName); // 指定待查询的转储任务名称 request.setTransferTaskName(taskName); 配置“DescribeTransferTaskRequest”对象之后
并设置任务名称 OBSDestinationDescriptorRequest descriptor = new OBSDestinationDescriptorRequest(); descriptor.setTransferTaskName(taskName); // 转储至对象存储服务
// 配置转储任务所属的通道名称 request.setStreamName(streamName); // 配置待删除的转储任务名称 request.setTransferTaskName(taskName); 配置“DeleteTransferTaskRequest”对象之后