检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本形式获取响应体。 输入的序列号,需要在分区的数据有效范围内。分区的数据有效范围,可以通过调用describeStream(查询通道详情)接口获取,其sequenceNumberRange代表数据有效范围,第一个值为最老数据的sequenceNumber,最后一个值为下一条上传数
Ingestion Service Software Development Kit)是对DIS服务提供的REST API进行的封装,以简化用户的开发工作。用户直接调用DIS SDK提供的接口函数即可实现使用DIS服务业务能力的目的。 父主题: 简介
403 Forbidden 可能原因:DIS网关将服务器IP加入黑名单,导致请求被拦截。列入黑名单通常由于多次使用错误的配置重复调用DIS接口导致。 处理方法:停止Agent进程,修改配置DIS Agent中“agent.yml”配置文件的配置。停止Agent30分钟后重启Agent。
resultLogLevel 否 每次调用DIS数据发送接口后的结果日志级别。 OFF:日志中不输出每次接口调用的结果。 INFO:每次接口调用的结果以INFO级别输出到日志。 WARN:每次接口调用的结果以WARN级别输出到日志。 ERROR:每次接口调用的结果以ERROR级别输出到日志。 INFO
确认有通道用于数据上传且通道状态为“运行中”。 检查认证信息 检查AK/SK AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。 检查项目ID ProjectID表示租户的资源,每个Region都有一个唯一的项目ID。可在页面查看不同Region对应的项目ID值。
resultLogLevel 否 每次调用DIS数据发送接口后的结果日志级别。 OFF:日志中不输出每次接口调用的结果。 INFO:每次接口调用的结果以INFO级别输出到日志。 WARN:每次接口调用的结果以WARN级别输出到日志。 ERROR:每次接口调用的结果以ERROR级别输出到日志。 INFO
Insight,简称DLI)。 服务维护 负责服务的安装、升级。 负责服务的配置、巡检、日志收集与分析、运行监控。 负责服务工单处理。 用户SDK 提供Java接口,供用户上传与下载数据。 提供数据加密功能。 关键能力 无限扩展:DIS数据通道的吞吐量每小时可从数MB扩展到数TB,PUT记录每秒钟可从数千次扩展到数百万。
如何开通DIS通道? 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 单击“购买接入通道”配置相关参数。 表1 接入通道参数说明 参数 参数解释 参数示例 计费模式 按需计费 按需计费 区域 指的是云服务所在的物理位置。您可以在下拉框中选择并切换区域。 华北-北京1
IDEA构建工程,完成之后会显示目录与文件 检查认证信息 检查AK/SK AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面,选择“访问密钥 >
IDEA构建工程,完成之后会显示目录与文件 检查认证信息 检查AK/SK AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面,选择“访问密钥 >
管理通道标签 标签是通道的标识。为通道添加标签,可以方便用户识别和管理拥有的通道资源。 您可以在创建通道时添加标签,也可以在通道创建完成后,在通道的详情页添加标签,您最多可以给通道添加10个标签。 标签共由两部分组成:“标签键”和“标签值”,其中,“标签键”和“标签值”的命名规则如表1所示。
应用场景 实时数据处理 实时收集城市各交通枢纽的车辆通行数据,缓存在通道中,分析平台周期读取通道中的数据分析后将结果应用到调度系统,实现对停车场开放时长和交通资源的调配。 图1 场景示例图 实时文件传输 实时检测客户应用系统中产生的文件,并采集上传到云上,进行离线分析、存储查询及
同的值。比如实例1的值为client1,实例2的值为client2。 logstash endpoint 是 DIS对应Region的数据接口地址。 https://dis.cn-north-1.myhuaweicloud.com group_id 是 DIS App名称,用于标识一个消费组,值可以为任意字符串
分片中。如果设置数据的PartitionKey,可能会导致数据倾斜,产生通道限流。 下载数据时,需要定期的使用descriptStream接口检测通道分区数量的变化,以便DIS可以下载到所有分区的数据。 自动扩缩容 自动扩缩容原理 当上一分钟内通道触发流控(即超过通道内分区最大吞
图解数据接入服务DIS
使用Agent上传数据 DIS Agent概述 安装前准备 安装DIS Agent 配置DIS Agent 启动DIS Agent 验证DIS Agent 停止DIS Agent 父主题: 使用DIS
使用DIS Logstash Plugin上传与下载数据 DIS Logstash Plugin概述 安装DIS Logstash Plugin前准备 在线安装DIS Logstash Plugin 离线安装DIS Logstash Plugin 配置DIS Logstash Plugin
使用DIS Flink Connector上传与下载数据 DIS Flink Connector概述 准备DIS Flink Connector的相关环境 自定义Flink Streaming作业 父主题: 使用DIS
修订记录 发布日期 修订说明 2019-12-11 第二十四次正式发布: 增加dis-kafka-adapter,增加使用Kafka Adapter上传与下载数据。 2019-10-08 第二十三次正式发布: 优化Java和Python SDK。 2019-07-08 第二十次正式发布:
异常信息 DIS服务端错误码