-
Agent如何配置递归监听一个目录? - 数据接入服务 DIS
-
配置DIS Logstash Plugin - 数据接入服务 DIS
配置DIS Logstash Plugin DIS Logstash Plugins 分为Input与Output插件,本节介绍插件的各个配置项具体含义。
-
转储至OBS - 数据接入服务 DIS
最新 数据转储周期 根据用户配置的时间,周期性的将数据导入目的地,若某个时间段内无数据,则此时间段不会生成打包文件。 取值范围:30~900。 单位:秒。 默认配置为300秒。
-
变更源数据类型 - 数据接入服务 DIS
变更源数据类型 源数据Schema作为通道下特定转储任务进行数据转换的依据,如果没有正确配置将引起数据转换失败从而导致转储任务异常。您可以当前就为通道配置源数据Schema,也可后期创建转储任务时再配置。您还可以在通道详情页面对已配置的源数据Schema进行修改。
-
删除转储任务 - 数据接入服务 DIS
配置参数如下: 1 2 streamname = "" #已存在的通道名称 task_name="xx" task_name配置为特定的转储任务名称,则删除通道下的该转储任务。
-
创建通道 - 数据接入服务 DIS
根据stream_type选取方法,参照创建通道配置方法中的参数值。 stream_type=“” #无转储通道 配置createstream_sample.py中Dump_switch方法参数值。
-
变更分区数量 - 数据接入服务 DIS
配置参数如下: 1 2 streamname = "" #已存在的running状态通道名 target_partition_count =”3” #变更后的数量值 配置好以上参数,执行changepartitionQuantity_sample.py文件调用changepartitionQuantity_test
-
获取数据游标 - 数据接入服务 DIS
配置参数如下: partitionId="shardId-0000000000" streamname=”dis-test1“ #已存在的通道名 5种游标设置使用参考如下: # startSeq与AT_SEQUENCE_NUMBER/AFTER_SEQUENCE_NUMBER搭配使用
-
删除APP - 数据接入服务 DIS
配置参数如下: 1 appName = "" #待删除的APP名称 配置好以上参数,执行deleteApp_sample.py文件调用deleteApp_test方法,响应204表示删除成功。 父主题: 使用SDK(Python)
-
删除通道 - 数据接入服务 DIS
配置参数如下: 1 streamname = "" #已存在的通道名称 配置好以上参数后,执行deleteStream_sample.py文件默认调用deleteStream_test方法,获取响应204删除成功。 父主题: 使用SDK(Python)
-
查询APP详情 - 数据接入服务 DIS
配置参数如下: 1 appname=”app1” #查询的APP名称 配置好以上参数,执行describeApp_sample.py文件调用describeApp_test方法。
-
添加转储任务 - 数据接入服务 DIS
参照添加转储任务配置方法中的参数值。
-
创建APP - 数据接入服务 DIS
配置参数如下: 1 appName = "" #创建的APP名称 配置好以上参数,执行createApp_sample.py文件调用createApp_test方法,响应201表示创建成功。 父主题: 使用SDK(Python)
-
查询Checkpoint - 数据接入服务 DIS
配置参数如下: 1 2 3 streamname = "" #通道名称 appName="xx" # APP名称(APP是已存在状态) partitionId="shardId-0000000000" #分区的唯一标识符 partitionId可通过查询通道详情获取,
-
转储至MRS - 数据接入服务 DIS
此配置项仅支持选择,不可手动输入。 - HDFS路径 单击“选择”,在“选择HDFS文件路径”窗口按层级选择所需HDFS文件所在路径。 此处路径仅支持选择,不可手动输入。 配置此项必须已配置“MRS集群”。
-
查询通道详情 - 数据接入服务 DIS
配置参数如下: 1 streamname="dis-test1" #已存在的通道名 配置好以上参数后,执行describeStream_sample.py文件默认调用describeStream_test方法。
-
新增Checkpoint - 数据接入服务 DIS
配置好以上参数,执行commitCheckpoint_sample.py文件调用commitCheckpoint_test方法,响应201表示成功。 父主题: 使用SDK(Python)
-
查询转储详情 - 数据接入服务 DIS
配置参数如下: 1 2 streamname="dis-test1"#已存在的通道名 task_name="test_1" #查询该通道下的xx转储任务 配置好以上参数后,执行describe_dump_task_sample.py文件默认调用describe_dump_task_test
-
添加转储任务 - 数据接入服务 DIS
5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 CreateTransferTaskRequest request = new CreateTransferTaskRequest(); // 配置通道名称
-
查询APP列表 - 数据接入服务 DIS
配置参数如下: 1 startAppName="app1" #APP名称(从该通道开始返回app列表,返回的app列表不包括此app名称。) 配置好以上参数,执行listApp_sample.py文件调用Applist_test方法。