检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
这个示例中创建了一个源数据类型为JSON,且数据包含“key1”、“key2”这两个属性的通道。 data_type:指定源数据的类型,“JSON”表示分区中的数据格式为JSON格式。 data_schema:源数据Schema,用于描述JSON、CSV格式的源数据结构,采用Avro
-8cda-ec9eca0cf141"); // 转储MRS通过OBS服务中转,需配置OBS桶名和子文件夹名,此目录也用于保存转储失败的源数据文件。可通过OBS控制台或客户端创建桶和文件夹 descriptor.setObsBucketPath("obs-dis"); descriptor
删除转储任务 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 使用DIS SDK删除指定的转储任务。 1 2 3 4 5 6 7 DeleteTransferTaskRequest request = new DeleteTransferTaskRequest();
than 7 days. 仅允许查询最近7天内的监控信息 请查询最近7天内的监控信息。 400 DIS.4208 Invalid MRS cluster. 创建MRS转储任务时,传入的MRS集群无效 请检查传入的MRS集群名称和ID,集群状态是否为运行中,以及是否为安全模式的集群。 400
timestamp_name 是 String 源数据时间戳的属性名称。 timestamp_type 是 String 源数据时间戳的类型。 String Timestamp:Long类型的13位时间戳 timestamp_format 否 String 源数据时间戳的类型为String时必
更新转储任务 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 使用DIS SDK更新转储任务,需要指定通道名称、转储任务名称,转储周期,转储目标服务等信息。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
查询转储详情 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 使用DIS SDK查询指定转储任务的详情。 1 2 3 4 5 6 7 DescribeTransferTaskRequest request = new DescribeTransferTaskRequest();
自动创建委托 用户创建DIS通道,选择将数据转储到对象存储服务(Object Storage Service,简称OBS)、MapReduce服务(MRS)集群、数据仓库服务(Data Warehouse Service,简称DWS)或数据湖探索(Data Lake Insigh
自动创建委托 用户创建DIS通道,选择将数据转储到对象存储服务(Object Storage Service,简称OBS)、MapReduce服务(MRS)集群、数据仓库服务(Data Warehouse Service,简称DWS)或数据湖探索(Data Lake Insigh
批量启动转储任务 功能介绍 此接口用于批量启动转储任务。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/streams/{stream_name}/transfer-tasks/action 表1 路径参数 参数 是否必选 参数类型 描述 project_id
删除转储任务 功能介绍 该接口用于删除转储任务。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/streams/{stream_name}/transfer-tasks/{task_name} 表1 路径参数 参数 是否必选 参数类型 描述
Protobuf格式上传流式数据 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 初始化DIS客户端,加入一项参数bodySerializeType,如下所示: cli = disclient(endpoint='', ak=os.environ.get("HUAWEICLOUD_SDK_AK")
查询转储列表 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 使用DIS SDK查询指定通道的转储任务列表。 1 2 3 4 ListTransferTasksRquest request = new ListTransferTasksRquest();
包含partitionKey数据大小) 分区数量:分区是DIS数据通道的基本吞吐量单位。通道的多个分区可以并发进行数据传输,以提升效率。 源数据类型:BLOB、JSON、CSV。 生命周期(小时):存储在DIS中的数据保留的最长时间,超过此时长数据将被清除。取值范围:24~72的整数。单位:小时。
批量暂停转储任务 功能介绍 此接口用于批量暂停转储任务。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/streams/{stream_name}/transfer-tasks/action 表1 路径参数 参数 是否必选 参数类型 描述 project_id
查询转储任务列表 功能介绍 本接口用于查询转储任务列表。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/streams/{stream_name}/transfer-tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id
调用说明 数据接入服务提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用。 调用方法请参见如何调用API。 父主题: 使用前必读
步骤2:准备DIS应用开发环境 用户开发DIS应用程序前,首先需要安装和配置应用开发环境。获取SDK和样例工程,并导入到用户的开发环境中。 前提条件 JDK(1.8版本或以上版本)工具已安装成功。 Eclipse工具已安装成功。 操作步骤 Eclipse中配置JDK。 打开Eclipse工具,选择“Window
步骤2:准备DIS应用开发环境 用户开发DIS应用程序前,首先需要安装和配置应用开发环境。获取SDK和样例工程,并导入到用户的开发环境中。 前提条件 JDK(1.8版本或以上版本)工具已安装成功。 Eclipse工具已安装成功。 操作步骤 Eclipse中配置JDK。 打开Eclipse工具,选择“Window