检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是 String 在统一身份认证服务(IAM)中创建委托的名称,DIS需要获取IAM委托信息去访问您指定的资源。创建委托的参数设置如下:- 委托类型:云服务- 云服务:DIS- 持续时间:永久- “所属区域”为“全局服务”,“项目”为“对象存储服务”对应的“策略”包含“Tenant
什么是分区? 分区(Partition)是DIS数据通道的基本吞吐量单位。创建通道时,将指定所需的分区数量。 普通通道单分区容量:最高发送速度可达1MB/秒或1000条记录/秒(达到任意一种速度上限才会被限流),最高提取速度可达 2MB/秒,单次请求的记录总大小不能超过1MB(不
从通道内读取的用户记录数。 写入记录数 写入目标服务(如MRS)的记录数,例如通道内的一条用户记录可能转换为多条记录写入MRS服务的opentsdb。 转储文件名 转储到目标服务的文件名称。 从通道内读取的用户记录会写入文件后,再通过文件的形式转储到目标服务(如OBS、MRS) 记录数 用户转
与原生KafkaProducer接口适配说明 DISKafkaProducer的实现与KafkaProducer的实现不同,DISKafkaProducer的客户端与服务端通过Rest API实现,而KafkaProducer是基于TCP协议实现,在接口兼容上有如下差异。 表1 适配说明 原生KafkaProducer
与原生KafkaProducer接口适配说明 DISKafkaProducer的实现与KafkaProducer的实现不同,DISKafkaProducer的客户端与服务端通过Rest API实现,而KafkaProducer是基于TCP协议实现,在接口兼容上有如下差异。 表1 适配说明 原生KafkaProducer
PROPERTY_PRODUCER_EXCEPTION_RETRIES, "-1") .build(); 若需在客户端设置DIS连接超时时间,请使用如下方法初始化DIS客户端: 1 2 3 4 5 6 7 8 9 // 创建DIS客户端实例 DIS dic = DISClientBuilder
IAM用户ID,在项目列表中查看项目和项目ID。 获取区域和Endpoint信息 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。DIS的终端节点Endpoint构造规则为dis.{region_id}.{域名},您可以从地区和终端节点获取区域和终端节点信息。
此过程的关键日志说明如下 Heartbeat {"state":"JOINING"} Heartbeat表示心跳请求,每10s发起一次,用于和服务端保持连接。如果超过1分钟服务端没有收到心跳,会认为消费端已离线,消费组会重新分配。若心跳结果为JOINING表示消费者需要重新加入消费组,若为STABLE表示消费组稳定。
此过程的关键日志说明如下 Heartbeat {"state":"JOINING"} Heartbeat表示心跳请求,每10s发起一次,用于和服务端保持连接。如果超过1分钟服务端没有收到心跳,会认为消费端已离线,消费组会重新分配。若心跳结果为JOINING表示消费者需要重新加入消费组,若为STABLE表示消费组稳定。
将用户本地数据通过DIS通道不断上传至DIS服务。 目前数据支持存储至DIS和对象存储服务(Object Storage Service,简称OBS)MapReduce服务(MapReduce Service,简称MRS)、数据仓库服务(Data Warehouse Service,简称DWS)、数据湖探索(Data
将用户本地数据通过DIS通道不断上传至DIS服务。 目前数据支持存储至DIS和对象存储服务(Object Storage Service,简称OBS)MapReduce服务(MapReduce Service,简称MRS)、数据仓库服务(Data Warehouse Service,简称DWS)、数据湖探索(Data
图解数据接入服务DIS
实时指标和报告:实时从DIS数据通道数据提取指标并生成报告。例如,数据接入服务应用程序可以处理系统和应用程序日志的指标和报告,因为数据被流入而不是等待收到批量数据。 实时数据分析:通过数据接入服务,可以运行实时通道数据分析。例如,可以通过API把数据实时添加到DIS数据通道中
与其他服务的关系 介绍DIS与其他服务的关系。 对象存储服务(Object Storage Service,简称OBS) 在用户购买接入通道时选择数据转储至OBS,用户上传的数据会存储至对象存储服务(OBS)。 统一身份认证服务(Identity and Access Management,简称IAM)
开通DIS服务 注册云服务账号。 开通DIS服务。 使用DIS服务之前必须先充值,才能正常使用DIS服务。 登录DIS管理控制台。 单击页面右上角的“费用”。 单击“充值”,系统自动跳转到充值窗口。 根据界面提示信息,对账户进行充值。 充值成功后,关闭充值窗口,返回管理控制台首页。
附录 错误码 状态码 获取项目ID 介绍如何在控制台或者调用API获取项目ID。
请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型
API概览 DIS提供的接口为符合RESTful API设计规范的自研接口。 通过DIS的自研接口,您可以使用DIS的如API说明所示的功能。