检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
变更源数据类型 源数据Schema作为通道下特定转储任务进行数据转换的依据，如果没有正确配置将引起数据转换失败从而导致转储任务异常。您可以当前就为通道配置源数据Schema，也可后期创建转储任务时再配置。您还可以在通道详情页面对已配置的源数据Schema进行修改。 使用注册账户登录DIS控制台。
cloudtable_destination_descriptor 否 CloudtableDestinationDescriptorRequest object 转储目的地为CloudTable的参数列表。 表4 CloudtableDestinationDescriptorRequest
mer对象时，通过参数enable.auto.commit设定，true表示自动提交（默认）。 自动提交策略由消费者协调器（Coordinator）每隔${auto.commit.interval.ms}毫秒执行一次偏移量的提交；手动提交需要由客户端自己控制偏移量的提交。 自动提交
mer对象时，通过参数enable.auto.commit设定，true表示自动提交（默认）。 自动提交策略由消费者协调器（Coordinator）每隔${auto.commit.interval.ms}毫秒执行一次偏移量的提交；手动提交需要由客户端自己控制偏移量的提交。 自动提交
destination_type 是 String 转储任务类型。 OBS：转储到OBS MRS：转储到MRS DLI：转储到DLI CLOUDTABLE：转储到CloudTable DWS：转储到DWS 缺省值：NOWHERE 枚举值： DWS dws_destination_descriptor
分区转储详情列表。 obs_destination_description OBSDestinationDescriptorRequest object 转储目的地为OBS的参数列表。 dws_destination_descripton DWSDestinationDescriptorRequest
OBSDestinationDescriptorRequest obsDestinationDescriptorbody = new OBSDestinationDescriptorRequest(); obsDestinationDescriptorbody
setStreamName(streamName); // 添加OBS转储任务，并设置任务名称 OBSDestinationDescriptorRequest descriptor = new OBSDestinationDescriptorRequest(); descriptor.setTransf
uet、carbon descriptor.setDestinationFileType(DestinationFileTypeEnum.TEXT.getType()); request.setObsDestinationDescriptor(descriptor); 配置“
1537949648144, 'last_transfer_timestamp': 1538018072564, 'destination_type': 'OBS', 'obs_destination_description': {'obs_bucket_path': '002', 'deliver_time_interval':
destination_type 是 String 转储任务类型。 OBS：转储到OBS MRS：转储到MRS DLI：转储到DLI CLOUDTABLE：转储到CloudTable DWS：转储到DWS 缺省值：NOWHERE 枚举值： DLI dli_destination_descriptor
destination_type 是 String 转储任务类型。 OBS：转储到OBS MRS：转储到MRS DLI：转储到DLI CLOUDTABLE：转储到CloudTable DWS：转储到DWS 缺省值：NOWHERE 枚举值： MRS mrs_destination_descriptor
12 13 14 15 16 17 18 19 { "tasks":[ { "destination_type":"DLI", "task_name":"task_Ztab", "cr
"task_name":"task_Ztab", "task_id":"gGGu2WN88XbmRTm64nJ", "destination_type":"DLI", "state":"RUNNING", "create_time":1552457808502
09:42:37.354 INFO c.h.d.a.k.c.Coordinator - Heartbeat {"state":"JOINING"} 09:42:37.363 INFO c.h.d.a.k.c.Coordinator - joinGroupRequest {"groupId":"ding"
09:42:37.354 INFO c.h.d.a.k.c.Coordinator - Heartbeat {"state":"JOINING"} 09:42:37.363 INFO c.h.d.a.k.c.Coordinator - joinGroupRequest {"groupId":"ding"
1538018769241, 'state': 'RUNNING', 'create_time': 1537949648144, 'destination_type': 'OBS', 'task_name': 'task_test1'}]} 父主题： 使用SDK（Python）
用于描述JSON或CSV数据格式。DIS可以根据此JSON或CSV数据样例生成Avro schema, 将通道内上传的JSON或CSV数据转换为Parquet或CarbonData格式。 创建源数据Schema有如下三个入口： 创建通道同时开启“Schema开关”，创建源数据Schema，参见图1。
value=['LATEST', 30, 'dis_admin_agency',1800]) obs_dump_task =['destination_file_type','obs_bucket_path','file_prefix', 'partition_format','record_delimiter']
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
