检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询分区监控 功能介绍 本接口用于查询通道指定分区的监控数据。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/streams/{stream_name}/partitions/{partition_id}/metrics 表1 路径参数 参数
on_key。 sequence_number String 该条数据的序列号。 data String 下载的数据。 下载的数据为序列化之后的二进制数据(Base64编码后的字符串)。 比如下载数据接口返回的数据是“ZGF0YQ==”,“ZGF0YQ==”经过Base64解码之后是“data”。
yncGroup)获取分配结果 SyncGroup 此请求用于获取分配结果,返回的assignment中即为消费者需要消费的通道名和分区 执行样例程序,等待消费组分配完成之后,发送数据到通道,完整的日志如下 09:42:37.296 INFO c.h.d.a.k.c.DISKafkaConsumer
sequence_number String 数据上传到的序列号。序列号是每个记录的唯一标识符。序列号由DIS在数据生产者调用PutRecords操作以添加数据到DIS数据通道时DIS服务自动分配的。同一分区键的序列号通常会随时间变化增加。PutRecords请求之间的时间段越长,序列号越大。 error_code
读取通道数据时,如何区分不同类型数据? 不同类型的消息使用不同的通道; 使用同一个通道的不同分区。上传消息时,不同类型的消息指定不同的partition_key,消费时根据partition_key来区分不同类型消息。 父主题: 转储相关问题
yncGroup)获取分配结果 SyncGroup 此请求用于获取分配结果,返回的assignment中即为消费者需要消费的通道名和分区 执行样例程序,等待消费组分配完成之后,发送数据到通道,完整的日志如下 09:42:37.296 INFO c.h.d.a.k.c.DISKafkaConsumer
单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 单击需要查看的通道名称。进入所选通道的管理页面。 单击“源数据类型”后的,从下拉框中选择对应的源数据类型,可修改创建通道时已设置的源数据类型。或者选择待修改源数据类型通道对应的操作列,选择“更多 > 变更源数据类型”,
什么是数据接入服务DIS 数据接入服务(Data Ingestion Service)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体
Json格式上传流式数据 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 streamname="dis-test1"| #已存在的通道名 putRecords_sample.py文件中的putRecords_test方法中的records为需要上传的数据内容,数据上传格式如下:
查询通道监控 功能介绍 本接口用于查询指定通道的监控数据。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/streams/{stream_name}/metrics 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
total_number Integer 满足条件的App总数。 表5 DescribeAppResult 参数 参数类型 描述 app_name String App的名称。 app_id String App的唯一标识符。 create_time Long App创建的时间,单位毫秒。 commi
可用) 分区的数据有效范围可以通过调用describeStream(查询通道详情)接口获取,其sequenceNumberRange代表数据有效范围,第一个值为最老数据的sequenceNumber,最后一个值为下一条上传数据的sequenceNumber(最新数据的sequenceNumber为此值-1)
ADVANCED data_type String 源数据类型。 BLOB:存储在数据库管理系统中的一组二进制数据。 JSON:一种开放的文件格式,以易读的文字为基础,用来传输由属性值或者序列性的值组成的数据对象。 CSV:纯文本形式存储的表格数据,分隔符默认采用逗号。 缺省值:BLOB。 枚举值:
r 否 String 序列号。序列号是每个记录的唯一标识符。序列号由DIS在数据生产者调用PutRecords操作以添加数据到DIS数据通道时DIS服务自动分配的。同一分区键的序列号通常会随时间变化增加。PutRecords请求之间的时间段越长,序列号越大。序列号与游标类型AT_
ect-Token的值)。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 sequence_number String 序列号,用来记录该通道的消费检查点。 metadata String 用户消费程序端的元数据信息。 请求示例 查询Checkpoint详情
Agent 上传数据 启动Agent上传数据 查看数据上传结果 05 实践 通过提供针对多种场景的使用样例,方便您快速了解使用DIS完成实时数据的采集和分析。 案例介绍 使用DIS实时分析车辆位置 使用DIS采集增量驾驶行为日志数据 06 API 通过DIS开放的API和调用示例
方法,下载数据getRecords_test采用test方法;test方法较test_0方法,增加参数bodySerializeType="protobuf"。 配置好以上参数,执行protobuf_getrecords_sample.py文件调用getRecords_test方法,响应结果如下。
上传流式数据 样例代码 使用初始化DIS客户端后的客户端实例将用户的流式数据通过DIS通道上传至DIS服务。 其中,“streamName”的配置值要与开通DIS通道中“通道名称”的值一致,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参见获取认证信息。
查询指定通道的标签信息 功能介绍 该接口用于查询指定通道的标签信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/stream/{stream_id}/tags 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
ProjectID表示租户的资源,每个Region都有一个唯一的项目ID。可在页面查看不同Region对应的项目ID值。 获取DIS Agent包 这里获取“dis-agent-X.X.X.zip”压缩包。 父主题: 使用Agent上传数据