-
转储至OBS - 数据接入服务 DIS
转储Text格式文件的配置参数 参数 说明 取值 任务名称 用户创建转储任务时,需要指定转储任务名称,同一通道的转储任务名称不可重复。任务名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。 - 数据转储地址 存储该通道数据的OBS桶名称。桶名称在“对象存储服务”中“创建桶”时创建。
-
查询通道列表 - 数据接入服务 DIS
limit long 单次请求返回通道列表的最大数量。 取值范围:1~100。 默认值:10。 exclusiveStartStreamName string 从该通道开始返回通道列表,返回的通道列表不包括此通道名称。 如果需要分页查询,第一页查询时不传该字段。返回结果has_more_
-
查询通道详情 - 数据接入服务 DIS
JsonUtils.objToJson(dic.describeStream(describeStreamRequest))); 查询通道的返回信息如下。 1 descStream: DescribeStreamResult [streamId=JnYbsMfWNn81e8n2mOC
-
配置Plugin - 数据接入服务 DIS
endpoint 是 DIS对应Region的数据接口地址。 请根据实际情况配置 group.id 是 DIS App名称,用于标识一个消费组,由英文字符、数字、-、_组成。 请根据实际情况配置 配置DIS Sink 表2 DIS Sink配置项说明 配置项 是否必填 说明 默认值 channel
-
管理通道标签 - 数据接入服务 DIS
添加 单击左上角的“添加标签”,在弹出的“添加标签”窗口,输入新添加标签的键和值,并单击“确认”。 修改 单击标签所在行“操作”列下的“编辑”,在弹出的“编辑标签”窗口,输入修改后标签的值,并单击“确认” 删除 单击标签所在行“操作”列下的“删除”,如果确认删除,在弹出的“删除标签”窗口,单击“确认”。
-
查询通道列表 - 数据接入服务 DIS
#可设置为空,或是已存在的通道名 执行listStream_sample.py文件默认调用listStream_test方法,获取响应200查询成功。 通道列表的返回信息示例如下: 1 2 200 {'stream_names': ['dis-jLGp', 'dis-w_p', 'dis_test1',
-
查询转储详情 - 数据接入服务 DIS
DescribeTransferTaskResult result = dic.describeTransferTask(request); 查询转储任务的返回信息如下。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22
-
查询Checkpoint - 数据接入服务 DIS
JsonUtils.objToJson(dic.getCheckpoint(getCheckpointRequest))); 查询Checkpoint的返回信息如下。 1 2 getCheckpoint: {"sequence_number": "10", "metadata": "metadata"}
-
变更分区数量 - 数据接入服务 DIS
LOGGER.error("Failed to update partition count", e); } 变更分区数量成功的返回信息如下。 1 Success to update partition count, UpdatePartitionCountResult
-
查询通道详情 - 数据接入服务 DIS
#已存在的通道名 配置好以上参数后,执行describeStream_sample.py文件默认调用describeStream_test方法。 返回信息如下: 1 2 200 {"status": "RUNNING", "stream_name": "dis-test1", "data_type":
-
查询Checkpoint详情 - 数据接入服务 DIS
查询Checkpoint详情 GET https://{Endpoint}/v2/{project_id}/checkpoints 响应示例 状态码: 200 正常返回 { "sequence_number" : "newstram", "metadata" : "" } SDK代码示例 SDK代码示例如下。
-
获取数据游标 - 数据接入服务 DIS
租户使用DIS的通道,分别上传了三条数据A1,A2,A3。N天后(设定A1已过期,A2和A3仍在有效期范围内),该租户需要下载此三条数据,并选择了TRIM_HORIZON这种下载方式。那么用户可下载的数据将从A2开始读取。- LATEST:从分区中的最新记录开始读取,此设置可以保证你总是读到分区中最新记录。-
-
查询转储列表 - 数据接入服务 DIS
ListTransferTasksResult result = dic.listTransferTasks(request); 查询转储任务列表的返回信息如下。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 { "tasks":[
-
查询转储详情 - 数据接入服务 DIS
配置好以上参数后,执行describe_dump_task_sample.py文件默认调用describe_dump_task_test方法。 返回信息如下: 1 2 200 {'state': 'RUNNING', 'stream_name': 'dis-test1', 'create_time':
-
下载数据 - 数据接入服务 DIS
用户上传数据时设置的partition_key。说明:上传数据时,如果传了partition_key参数,则下载数据时可返回此参数。如果上传数据时,未传partition_key参数,而是传入partition_id,则不返回partition_key。 sequence_number String 该条数据的序列号。
-
查看App详情 - 数据接入服务 DIS
GET https://{Endpoint}/v2/{project_id}/apps/{app_name} 响应示例 状态码: 200 正常返回 { "app_id" : "bd6IPpvgiIflQPMpi9M", "app_name" : "newstream", "create_time"
-
查询APP列表 - 数据接入服务 DIS
listApp_test 方法中的(limit可设置单次请求返回APP列表的最大数量取值范围:1~100)。 配置参数如下: 1 startAppName="app1" #APP名称(从该通道开始返回app列表,返回的app列表不包括此app名称。) 配置好以上参数,执行listApp_sample
-
查询App列表 - 数据接入服务 DIS
Integer 单次请求返回APP列表的最大数量。 最小值:1 最大值:100 缺省值:10 start_app_name 否 String 从该app名称开始返回app列表,返回的app列表不包括此app名称。 stream_name 否 String 返回该通道下的app列表。
-
查询权限策略列表 - 数据接入服务 DIS
https://{Endpoint}/v2/{project_id}/streams/{stream_name}/policies 响应示例 状态码: 200 正常返回 { "streamId" : "CiFdELMr0401K9GGZlp", "rules" : [ { "action_type"
-
查询转储任务列表 - 数据接入服务 DIS
https://{Endpoint}/v2/{project_id}/streams/{stream_name}/transfer-tasks 响应示例 状态码: 200 正常返回 { "tasks" : [ { "task_id" : "As805BudhcH1lDs6gbn", "destination_type"