检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置DIS Logstash Plugin DIS Logstash Plugins 分为Input与Output插件，本节介绍插件的各个配置项具体含义。 配置DIS Logstash Input 配置模板如下：（该模板为从DIS通道下载数据写入本地文件） input { dis
ConsumerRecords<String, String> records = consumer.poll(Long.MAX_VALUE); if (!records.isEmpty())
ConsumerRecords<String, String> records = consumer.poll(Long.MAX_VALUE); if (!records.isEmpty()) { for (TopicPartition partition : records.partitions())
action_type 是 String 授权操作类型。 putRecords：上传数据。 getRecords：下载数据。 getStreamInfo：通道详情。 枚举值： putRecords getRecords getStreamInfo effect 是 String 授权影响类型。
289927]" } ], "has_more_partitions" : false } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
Service，简称DWS）、数据湖探索（Data Lake Insight，简称DLI），具体存储位置在新增转储任务的“数据转储”中配置。 DIS为临时存储器，存储在DIS中的数据最长保留时间为3中配置的“生命周期”的值。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X
Service，简称DWS）、数据湖探索（Data Lake Insight，简称DLI），具体存储位置在新增转储任务的“数据转储”中配置。 DIS为临时存储器，存储在DIS中的数据最长保留时间为步骤 3中配置的“生命周期”的值。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X
id必须唯一，如果不配置client.id, dis kafka consumer会生成一个uuid作为client.id。 key.deserializer 参数 支持 含义与kafka设置相同，但默认值为StringDeserializer (kafka必须配置)。 value.deserializer
id必须唯一，如果不配置client.id, dis kafka consumer会生成一个uuid作为client.id。 key.deserializer 参数 支持 含义与kafka设置相同，但默认值为StringDeserializer (kafka必须配置)。 value.deserializer
"stz_test", "data_type" : "JSON" } 响应示例 无 SDK代码示例 SDK代码示例如下。 Java Python Go 更多 更新通道生命周期 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
1分钟 dis03_stream_put_records 总输入记录数 该指标用于统计指定时间范围内，通道上传记录数。 单位：Count/s。 ≥ 0 Count/s 通道 1分钟 dis04_stream_get_records 总输出记录数 该指标用于统计指定时间范围内，通道下载记录数。
单位：秒。 默认配置为300秒。 - 源数据类型JSON/CSV==>转储文件格式Parquet 表3罗列了源数据类型为JSON，CSV，转储至OBS（对应转储文件格式Parquet）时需要配置的差异化参数，共性参数的配置请参见表1。 表3 转储Parquet格式文件的配置参数 参数 说明
源数据Schema作为通道下特定转储任务进行数据转换的依据，如果没有正确配置将引起数据转换失败从而导致转储任务异常。您可以当前就为通道配置源数据Schema，也可后期创建转储任务时再配置。您还可以在通道详情页面对已配置的源数据Schema进行修改。 使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域和项目。
schema。 在右侧文本框中单击，可修改已生成的Avro schema。 仅当“Schema配置开关”配置为“开启”：时需要配置此参数。 企业项目 配置通道所属的企业项目。已开通企业项目管理服务的用户才可以配置该参数。默认值为default。 企业项目是一种云资源管理方式，企业项目管理服务提
取值范围：30～900。 单位：秒。 默认配置为300秒。 - 数据临时桶 用户数据先临时存储在OBS桶中，再转储到指定的转储服务，转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中，转储完成后临时目录中的数据会被清除。 配置为空时，数据直接存储在OBS桶内。
-f 为用户编写的配置文件路径。 检查DIS Logstash Input下载数据是否正常。 向input指向的通道上传数据，如果Logstash没有报错且output端能正常获取到数据，表示下载正常。 登录DIS控制台，等待2分钟后，查看表1中“streams”配置的通道的监控。如
SDK创建Checkpoint，需要指定通道名称、APP名称、分区编号、序列号以及Checkpoint类型。 其中，“streamName”的配置值要与开通DIS通道中“Stream Name”的值一致。 1 2 3 4 5 6 7 8 9 10 11 12 13 //
使用DIS SDK创建APP，需要指定APP名称。 1 2 // APP名称 String appName = "myApp"; 配置APP名称之后，通过调用createApp的方法创建APP。 dic.createApp(myApp); 父主题： 使用SDK（Java）
DeleteTransferTaskRequest(); // 配置转储任务所属的通道名称 request.setStreamName(streamName); // 配置待删除的转储任务名称 request.setTransferTaskName(taskName); 配置“DeleteTransferT
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
