检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据转储地址 存储该通道数据的OBS桶名称。桶名称在“对象存储服务”中“创建桶”时创建。 - 转储文件目录 在OBS中存储通道文件的自定义目录,多级目录可用“/”进行分隔,不能以“/”开头。 取值范围:0~50个字符。 默认配置为空。 - 时间目录格式 数据将存储在OBS桶中转储
参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 streamname="XXX" #已存在的通道名 执行list_dump_task_sample.py文件默认调用list_dump_task_test方法,获取响应200查询成功。 响应示例如下: 1 2 200 {'total_number':
分区数:分区(Partition)是DIS数据通道的基本吞吐量单位。创建数据通道时,您将指定所需的分区数量。 记录:记录(Record)是存储在DIS通道中的数据单元。记录由序列号、分区键和数据块组成。数据块是您的数据生产者添加到数据通道的重要数据。数据块的最大尺寸(Base64编码前的数据有效载荷)是1MB。
PutRecordsRequest putRecordsRequest = new PutRecordsRequest(); putRecordsRequest.setStreamName(streamName); List<PutRecordsRequestEntry>
日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。 数据流向 DIS实时从多种数据源采集数据。 DIS连续传输数据,自动将数据传输至MRS,DLI,DWS和OBS等服务做计算,分析和存储。 图1 数据流向
total_put_records_per_partition total_get_records_per_partition label_list 否 String 使用label用逗号拼接组成,用于批量查询多个label的指标。(label与label_list必须二选一,label
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
Warehouse Service,简称DWS)、数据湖探索(Data Lake Insight,简称DLI),具体存储位置在新增转储任务的“数据转储”中配置。 DIS为临时存储器,存储在DIS中的数据最长保留时间为3中配置的“生命周期”的值。 样例代码 样例工程为DIS SDK桶中下载的“
Warehouse Service,简称DWS)、数据湖探索(Data Lake Insight,简称DLI),具体存储位置在新增转储任务的“数据转储”中配置。 DIS为临时存储器,存储在DIS中的数据最长保留时间为步骤 3中配置的“生命周期”的值。 样例代码 样例工程为DIS SDK桶中下
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
PutRecordsRequest putRecordsRequest = new PutRecordsRequest(); putRecordsRequest.setStreamName(streamName); List<PutRecordsRequestEntry>
traffic_control_get label_list 否 String 使用label用逗号拼接组成,用于批量查询多个label的指标。(label与label_list必须二选一,label_list与label同时存在时,以label_list为准) start_time 是 Long
ConsumerRecords<String, String> records = consumer.poll(Long.MAX_VALUE); if (!records.isEmpty()) { for (TopicPartition partition : records.partitions())
与其他服务的关系 介绍DIS与其他服务的关系。 对象存储服务(Object Storage Service,简称OBS) 在用户购买接入通道时选择数据转储至OBS,用户上传的数据会存储至对象存储服务(OBS)。 统一身份认证服务(Identity and Access Management,简称IAM)
records.partitions()) { List<ConsumerRecord<String, String>> partitionRecords = records.records(partition);
records.partitions()) { List<ConsumerRecord<String, String>> partitionRecords = records.records(partition);
ConsumerRecords<String, String> records = consumer.poll(Long.MAX_VALUE); if (!records.isEmpty()) { for (TopicPartition partition : records.partitions())
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]