正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
小文件功能下线,删除“创建源数据类型是FILE的通道”。 2019-07-03 第十九次正式发布: Java SDK不兼容原生Kafka客户端,删除“连接Kafka consumer”。 2019-05-14 第十八次正式发布: 支持使用SDK实现数据的加密上传下载,修改初始化DIS客户端。
用户使用接入通道上传数据的时候,如果数据涉及敏感信息,请使用DIS SDK提供的加密配置进行加密或者自行加密。 用户使用接入通道上传数据时,普通通道单分区单次请求的记录总大小不能超过1MB(不包含partitionKey数据大小),高级通道单分区单次请求的记录总大小不能超过5MB
表1所示。其中,通道基本信息的参数说明请参见表1。 表1 DIS监控信息参数说明 参数 说明 时间范围 选择查看监控信息的时间段,可查看所选时间范围内的监控信息。 取值范围: 1h 3h 12h 可自定义查看监控信息的时间段。 单击“自定义”页签后的,分别设置开始时间和结束时间。
相关资源 SDK下载 兼容性 如何校验软件包完整性?
额度和时长,获取更多的优惠。超出资源包的部分自动转按需计费。 各资源包在不同规格及时长下的具体价格,请参见产品价格详情。你可以通过DIS提供的价格计算器,根据您的业务诉求,来快速计算出购买DIS的参考价格。 计费示例 假设用户A的上传流量为5MB/s,单条记录大小为2KB,创建5
约束与限制 您能创建的通道和实例的数量与配额有关系,如果您想查看服务配额、扩大配额,具体请参见服务配额。 详细的限制请参见具体API的说明。 父主题: 使用前必读
开通DIS通道 开通数据接入服务的请参见《数据接入服务用户指南》中的“开通DIS通道”。具体操作请参见开通DIS通道。
查看监控指标 操作场景 云监控服务可以对数据接入服务通道的运行状态进行日常监控。您可以通过云监控管理控制台,直观地查看各项监控指标。 由于监控数据的获取与传输会花费一定时间,因此,云监控显示的是当前时间5~10分钟前的状态。如果您的数据接入服务通道刚刚创建完成,请等待5~10分钟后查看监控数据。
Plugin是数据接入服务(DIS)为Flume开发的插件,包含DIS Source与DIS Sink。DIS Source用于从DIS服务下载数据到Flume Channel,DIS Sink用于将Flume Channel中的数据上传到DIS服务。DIS Flume Plugin安装流程如图1所示。
Plugin是数据接入服务(DIS)为Logstash开发的插件,包含DIS Input与DIS Output。DIS Input用于从DIS服务下载数据到Logstash,DIS Output用于将Logstash中的数据上传到DIS服务。DIS Logstash Plugin安装流程如图1所示。
什么是DIS? 数据接入服务(Data Ingestion Service)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。
完成服务的开通、删除、配置操作,并将用户信息同步到数据面。 完成数据面资源的申请与自动部署。 服务数据面 接收用户发送数据的请求,对已鉴权的数据接收并存储。 接收用户获取数据的请求,在鉴权后输出对应的用户数据。 按时老化存储在系统中的用户数据。 根据用户配置,将用户数据存储到对象存储服务(Object Storage
DIS)。数据接入服务面向IoT、互联网等实时数据,提供高效采集、传输、分发能力,支持多种IoT协议,提供丰富的接口,帮助您快速构建实时数据应用。 您可以使用本文档提供API对实时数据进行相关操作,如上传、下载等。支持的全部操作请参见API概览。 在调用数据接入服务API之前,请确保已经充分了解数据接入服
Kafka Adapter概述 dis-kafka-adapter是数据接入服务(DIS)提供的一个sdk,支持原本使用Kafka Client上传数据的用户以类似原来的操作将数据上传到DIS,目前只支持Java版本。 父主题: 使用Kafka Adapter上传与下载数据
Kafka Adapter概述 dis-kafka-adapter是数据接入服务(DIS)提供的一个sdk,支持原本使用Kafka Client上传数据的用户以类似原来的操作将数据上传到DIS,目前只支持Java版本。 父主题: 使用Kafka Adapter上传与下载数据
而无需数小时或数天时间。 复杂的数据通道处理:您可以创建DIS应用程序和数据通道的Directed Acyclic Graphs(DAG)。在这一情景中,一个或多个DIS应用程序可将数据添加到一个DIS数据通道进行进一步处理,以便于进行通道处理器的后续阶段。 父主题: 一般性问题
DIS Flink Connector概述 DIS Flink Connector是数据接入服务(DIS)提供的一个sdk,支持将DIS作为数据源创建Stream对接Flink。 父主题: 使用DIS Flink Connector上传与下载数据
添加转储任务 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 参照添加转储任务配置方法中的参数值。 配置如下参数: streamname='dis—test1' #已存在的通道名 task_name='113' 以添加OBS转储服务为例:value参数值设定与key对应
Lake Insight,简称DLI),具体存储位置在新增转储任务的“数据转储”中配置。 DIS为临时存储器,存储在DIS中的数据最长保留时间为3中配置的“生命周期”的值。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X.