检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 streamname="XXX" #已存在的通道名 执行list_dump_task_sample.py文件默认调用list_dump_task_test方法,获取响应200查询成功。 响应示例如下: 1 2 200 {'total_number':
total_get_records_per_partition label_list 否 String 使用label用逗号拼接组成,用于批量查询多个label的指标。(label与label_list必须二选一,label_list与label同时存在时,以label_list为准) start_time 是 Long
data_type String 源数据类型。 BLOB:存储在数据库管理系统中的一组二进制数据。 JSON:一种开放的文件格式,以易读的文字为基础,用来传输由属性值或者序列性的值组成的数据对象。 CSV:纯文本形式存储的表格数据,分隔符默认采用逗号。 缺省值:BLOB。 枚举值:
rue} 表2 响应参数说明 参数名 类型 说明 total_number Int 当前租户所有通道数量。 stream_names List<String> 满足当前请求条件的通道名称的列表。 has_more_streams Boolean 是否还有更多满足条件的通道。 是:true。
traffic_control_get label_list 否 String 使用label用逗号拼接组成,用于批量查询多个label的指标。(label与label_list必须二选一,label_list与label同时存在时,以label_list为准) start_time 是 Long
分区数:分区(Partition)是DIS数据通道的基本吞吐量单位。创建数据通道时,您将指定所需的分区数量。 记录:记录(Record)是存储在DIS通道中的数据单元。记录由序列号、分区键和数据块组成。数据块是您的数据生产者添加到数据通道的重要数据。数据块的最大尺寸(Base64编码前的数据有效载荷)是1MB。
是否还有更多满足条件的App。 true:是。 false:否。 apps Array of DescribeAppResult objects AppEntry list that meets the current request. total_number Integer 满足条件的App总数。 表5
for (TopicPartition partition : records.partitions()) { List<ConsumerRecord<String, String>> partitionRecords = records.records(partition);
for (TopicPartition partition : records.partitions()) { List<ConsumerRecord<String, String>> partitionRecords = records.records(partition);
dis.v2.*; import com.huaweicloud.sdk.dis.v2.model.*; import java.util.List; import java.util.ArrayList; public class ListResourcesByTagsSolution
获取分区已提交的offset List<PartitionInfo> partitionsFor(String topic) 接口 支持 获取通道的分区信息,但PartitionInfo里面的leader, replicas, inSyncReplicas未实现。 Map<String, List<PartitionInfo>>
获取分区已提交的offset List<PartitionInfo> partitionsFor(String topic) 接口 支持 获取通道的分区信息,但PartitionInfo里面的leader, replicas, inSyncReplicas未实现。 Map<String, List<PartitionInfo>>
日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。 数据流向 DIS实时从多种数据源采集数据。 DIS连续传输数据,自动将数据传输至MRS,DLI,DWS和OBS等服务做计算,分析和存储。 图1 数据流向
数据转储地址 存储该通道数据的OBS桶名称。桶名称在“对象存储服务”中“创建桶”时创建。 - 转储文件目录 在OBS中存储通道文件的自定义目录,多级目录可用“/”进行分隔,不能以“/”开头。 取值范围:0~50个字符。 默认配置为空。 - 时间目录格式 数据将存储在OBS桶中转储
bash dis-encrypt.sh 控制台打印的“Encrypt result:”后面的字符串即为加密后的结果。通过这种方式分别加密MySQL密码和用户SK,并将密文配置到配置文件中即可。 配置DIS Source 表1 DIS Source配置项说明 配置项 是否必填 说明 默认值
slf4j.LoggerFactory; import java.util.ArrayList; import java.util.List; import java.util.Map; import java.util.Properties; public class
slf4j.LoggerFactory; import java.util.ArrayList; import java.util.List; import java.util.Map; import java.util.Properties; public class
dis.v2.*; import com.huaweicloud.sdk.dis.v2.model.*; import java.util.List; import java.util.ArrayList; public class BatchStartTransferTaskSolution
dis.v2.*; import com.huaweicloud.sdk.dis.v2.model.*; import java.util.List; import java.util.ArrayList; public class BatchStopTransferTaskSolution