检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
标签管理 给指定通道添加标签 查询指定通道的标签信息 删除指定通道的标签 批量添加资源标签 查询指定区域所有标签集合 使用标签过滤资源(通道等) 批量删除资源标签 父主题: API说明
#序列号 metadata="" #用户消费程序端的元数据信息,元数据信息的最大长度为1000个字符 partitionId可通过查询通道详情获取,需要先传入当前设置的通道名称。 配置好以上参数,执行commitCheckpoint_sample.py文件调用commit
转储任务管理 添加OBS转储任务 查询转储任务列表 删除转储任务 查询转储任务详情 批量启动转储任务 批量暂停转储任务 添加DWS转储任务 添加MRS转储任务 添加DLI转储任务 添加CloudTable转储任务 父主题: API说明
Set<TopicPartition> assignment() 接口 支持 获取consumer消费的通道与分区信息 Set<String> subscription() 接口 支持 获取consumer已订阅的通道名称 void assign(Collection<TopicPartition>
Checkpoint管理 提交Checkpoint 查询Checkpoint详情 删除Checkpoint 父主题: API说明
Set<TopicPartition> assignment() 接口 支持 获取consumer消费的通道与分区信息 Set<String> subscription() 接口 支持 获取consumer已订阅的通道名称 void assign(Collection<TopicPartition>
使用DIS实时分析车辆位置 数据接入服务(Data Ingestion Service,简称DIS)实时采集车辆位置数据并上传到华为云的表格存储服务(CloudTable Service,简称CloudTable)中,用户可以使用CloudTable查询指定车辆在指定时间段的车辆位置。
功后,您可以文本形式获取响应体。 输入的序列号,需要在分区的数据有效范围内。分区的数据有效范围,可以通过调用describeStream(查询通道详情)接口获取,其sequenceNumberRange代表数据有效范围,第一个值为最老数据的sequenceNumber,最后一个值
序列号(sequenceNumber),每个记录的唯一标识符。序列号由DIS在数据生产者调用PutRecord操作以添加数据到DIS数据通道时DIS服务自动分配的。同一分区键的序列号通常会随时间变化增加。PutRecords请求之间的时间段越长,序列号越大。 每个分区的sequenceNu
打包文件。 取值范围:30~900。 单位:秒。 默认配置为300秒。 - 数据临时桶 用户数据先临时存储在OBS桶中,再转储到指定的转储服务,转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中,转储完成后临时目录中的数据会被清除。
此过程的关键日志说明如下 Heartbeat {"state":"JOINING"} Heartbeat表示心跳请求,每10s发起一次,用于和服务端保持连接。如果超过1分钟服务端没有收到心跳,会认为消费端已离线,消费组会重新分配。若心跳结果为JOINING表示消费者需要重新加入消费组,若为STABLE表示消费组稳定。
此过程的关键日志说明如下 Heartbeat {"state":"JOINING"} Heartbeat表示心跳请求,每10s发起一次,用于和服务端保持连接。如果超过1分钟服务端没有收到心跳,会认为消费端已离线,消费组会重新分配。若心跳结果为JOINING表示消费者需要重新加入消费组,若为STABLE表示消费组稳定。
实时指标和报告:实时从DIS数据通道数据提取指标并生成报告。例如,数据接入服务应用程序可以处理系统和应用程序日志的指标和报告,因为数据被流入而不是等待收到批量数据。 实时数据分析:通过数据接入服务,可以运行实时通道数据分析。例如,可以通过API把数据实时添加到DIS数据通道中
图解数据接入服务DIS
开通DIS服务 注册云服务账号。 开通DIS服务。 使用DIS服务之前必须先充值,才能正常使用DIS服务。 登录DIS管理控制台。 单击页面右上角的“费用”。 单击“充值”,系统自动跳转到充值窗口。 根据界面提示信息,对账户进行充值。 充值成功后,关闭充值窗口,返回管理控制台首页。
入门 DIS使用流程简介 步骤1:开通DIS通道 步骤2:准备DIS应用开发环境 步骤3:发送数据到DIS 步骤4:从DIS获取数据 获取认证信息 连接OBS 自动创建委托
API概览 DIS提供的接口为符合RESTful API设计规范的自研接口。 通过DIS的自研接口,您可以使用DIS的如API说明所示的功能。
异常信息 DIS服务端错误码
删除通道 通道删除后不再收取费用,也无法恢复,请谨慎操作。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 在需要删除的通道中单击操作列的“删除”,弹出“删除DIS通道”对话框。 单击“确认”,删除选中的通道。 父主题:
开通DIS通道 开通数据接入服务的请参见《数据接入服务用户指南》中的“开通DIS通道”。 具体操作请参见开通DIS通道。