检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DIS提供按需计费和包年包月计费方式供您灵活选择,使用越久越便宜。 按需计费 DIS默认为按需计费方式,即按实际使用的时长收费,以小时为单位,每小时整点结算,不设最低消费标准。 按需计费方式下各计费项的具体价格,请参见产品价格详情。你可以通过DIS提供的价格计算器,根据您的业务诉求,来快速计算出购买DIS的参考价格。
创建通道 上传数据 获取数据游标 下载数据 添加转储任务 02 购买 数据接入服务的计费方式简单、灵活,您既可以选择按实际使用时长计费,也可以选择折扣套餐计费方式。 计费项 按需计费价格 套餐包价格 计费方式 计费说明 04 使用 用户可以使用DIS完成实时数据采集、上传以及数据在云上与存储、分析、计算等服务对接。
分区数量:分区是DIS数据通道的基本吞吐量单位。通道的多个分区可以并发进行数据传输,以提升效率。 源数据类型:BLOB、JSON、CSV。 生命周期(小时):存储在DIS中的数据保留的最长时间,超过此时长数据将被清除。取值范围:24~72的整数。单位:小时。 创建时间:显示通道创建的时间。格式为:yyyy/MM/dd
按消费程序数量计算读分区数:(消费程序数量/2后的数值需要保留两位小数,然后乘以“按流量计算所需写分区数”,最终取值需向上取整) (消费程序数量/2)*按流量计算所需的写分区数 获取“按流量计算所需写分区数”、“按消费程序数量计算读分区数”中的最大值作为预估所需分区数量。 单击“使用计算值”将系统计算出的建议值应用于“分区数量”。
上传数据时,不建议设置数据的PartitionKey,DIS会自动根据通道分区的数量将数据均匀散列到多个分片中。如果设置数据的PartitionKey,可能会导致数据倾斜,产生通道限流。 下载数据时,需要定期的使用descriptStream接口检测通道分区数量的变化,以便DIS可以下载到所有分区的数据。
按消费程序数量计算读分区数:(消费程序数量/2后的数值需要保留两位小数,然后乘以“按流量计算所需写分区数”,最终取值需向上取整) (消费程序数量/2)*按流量计算所需的写分区数 获取“按流量计算所需写分区数”、“按消费程序数量计算读分区数”中的最大值作为预估所需分区数量。 单击“使用计算值”将系统计算出的建议值应用于“分区数量”。
按消费程序数量计算读分区数:(消费程序数量/2后的数值需要保留两位小数,然后乘以“按流量计算所需写分区数”,最终取值需向上取整) (消费程序数量/2)*按流量计算所需的写分区数 获取“按流量计算所需写分区数”、“按消费程序数量计算读分区数”中的最大值作为预估所需分区数量。 单击“使用计算值”将系统计算出的建议值应用于“分区数量”。
什么是数据接入服务DIS 数据接入服务(Data Ingestion Service)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。
息头中。 IAM获取token的API DIS创建通道的API 前提条件 您需要规划数据接入服务所在的区域信息,并根据区域确定调用API的Endpoint。 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。本服务的Endpoint您可以从终端节点Endpoint获取。
什么是DIS? 数据接入服务(Data Ingestion Service)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。
无限扩展:DIS数据通道的吞吐量每小时可从数MB扩展到数TB,PUT记录每秒钟可从数千次扩展到数百万。 易于使用:您可以在几秒钟内创建DIS数据通道,轻松地将数据放入通道中,并构建用于数据处理的应用程序。 成本低廉:DIS没有前期成本,您只需要为实际使用的资源付费即可。 并行处理
Service)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。 云服务实现了在多地域部署基础设施,具备高度的可扩展性和可靠性,
数据块是您的数据生产者添加到数据通道的重要数据。数据块的最大尺寸(Base64编码前的数据有效载荷)是1MB。 序列号:序列号是每个记录的唯一标识符。序列号由DIS在数据生产者调用PutRecord操作以添加数据到DIS数据通道时DIS服务自动分配的。同一分区键的序列号通常会随
查看监控指标 操作场景 云监控服务可以对数据接入服务通道的运行状态进行日常监控。您可以通过云监控管理控制台,直观地查看各项监控指标。 由于监控数据的获取与传输会花费一定时间,因此,云监控显示的是当前时间5~10分钟前的状态。如果您的数据接入服务通道刚刚创建完成,请等待5~10分钟后查看监控数据。
查询指定通道的标签信息 功能介绍 该接口用于查询指定通道的标签信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/stream/{stream_id}/tags 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
完成服务的开通、删除、配置操作,并将用户信息同步到数据面。 完成数据面资源的申请与自动部署。 服务数据面 接收用户发送数据的请求,对已鉴权的数据接收并存储。 接收用户获取数据的请求,在鉴权后输出对应的用户数据。 按时老化存储在系统中的用户数据。 根据用户配置,将用户数据存储到对象存储服务(Object Storage
需要变更分区数量的通道名称。 最大长度:64 target_partition_count 是 Integer 变更的目标分区数量。 取值为大于0的整数。 设置的值大于当前分区数量表示扩容,小于当前分区数量表示缩容。 注意: 每个通道在一小时内扩容和缩容总次数最多5次,且一小时内扩容或缩
S服务的opentsdb。 转储文件名 转储到目标服务的文件名称。 从通道内读取的用户记录会写入文件后,再通过文件的形式转储到目标服务(如OBS、MRS) 记录数 用户转储日志开始构建到构建完成的时间间隔内,上传的记录条数。 数据量(字节) 用户转储日志开始构建到构建完成的时间间隔内,上传数据的大小。
// 通道的分片数量 createStreamRequest.setPartitionCount(3); // 通道数据的保留时长: 单位小时,N*24,N的取值为1~7的整数 createStreamRequest.setDataDuration(24); // 通道的源数据类型:缺省值:BLOB
和应用程序日志的指标和报告,因为数据被流入而不是等待收到批量数据。 实时数据分析:通过数据接入服务,可以运行实时通道数据分析。例如,可以通过API把数据实时添加到DIS数据通道中,并让您的DIS应用程序实时运行分析,从而在数分钟内从数据中获得重要见解,而无需数小时或数天时间。 复