检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Logstash Plugin是数据接入服务（DIS）为Logstash开发的插件，包含DIS Input与DIS Output。 DIS Input用于从DIS服务下载数据到Logstash。 DIS Output用于将Logstash中的数据上传到DIS服务。 DIS Logstash
DIS Flume Plugin是数据接入服务（DIS）为Flume开发的插件，包含DIS Source与DIS Sink。 DIS Source用于从DIS服务下载数据到Flume Channel。 DIS Sink用于将Flume Channel中的数据上传到DIS服务。 DIS Flume
这个示例中创建了一个源数据类型为JSON，且数据包含“key1”、“key2”这两个属性的通道。 data_type：指定源数据的类型，“JSON”表示分区中的数据格式为JSON格式。 data_schema：源数据Schema，用于描述JSON、CSV格式的源数据结构，采用Avro
分区键和数据块组成。数据块是您的数据生产者添加到数据通道的重要数据。数据块的最大尺寸（Base64编码前的数据有效载荷）是1MB。 序列号：序列号是每个记录的唯一标识符。序列号由DIS在数据生产者调用PutRecord操作以添加数据到DIS数据通道时DIS服务自动分配的。同一分区
Logstash Input下载数据是否正常。 向input指向的通道上传数据，如果Logstash没有报错且output端能正常获取到数据，表示下载正常。 登录DIS控制台，等待2分钟后，查看表1中“streams”配置的通道的监控。如果显示有数据下载(蓝色线条)，表示DIS Logstash
指定数据从通道中开始消费的位置，支持： earliest：从通道中最早的数据开始消费 latest：从通道中最新的数据开始消费 latest 配置DIS Logstash Output 配置模板如下：（该模板为读取本地文件数据并上传到DIS通道） input { file { path
在“API凭证”页面，查看账号名和账号ID、IAM用户名和IAM用户ID，在项目列表中查看项目和项目ID。 父主题： 使用Kafka Adapter上传与下载数据
辆位置。 使用DIS采集增量驾驶行为日志数据 数据接入服务（Data Ingestion Service，简称DIS）采集增量驾驶行为日志数据并上传到华为云对象存储服务（Object Storage Service，简称OBS），通过数据湖探索（Data Lake Insight
Storage Service，简称OBS）上传数据。 前提条件 已参考自动创建委托创建IAM委托，授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时，DIS会将通道数据周期性导入OBS。
概述 欢迎使用数据接入服务（Data Ingestion Service, DIS）。数据接入服务面向IoT、互联网等实时数据，提供高效采集、传输、分发能力，支持多种IoT协议，提供丰富的接口，帮助您快速构建实时数据应用。 您可以使用本文档提供API对实时数据进行相关操作，如上传
startingOffsets为读取DIS数据的起始位置，LATEST表示从最新的数据开始读取；EARLIEST表示从最旧的数据开始读取；如果要指定每个分区的精确起始位置，则可以写为json字符串，例如{"0":23,"1":-1,"2":-2}表示第0分区起始位置是23，第1分区从最新数据的位置开始，第2
什么是DIS？ 数据接入服务（Data Ingestion Service）为处理或分析流数据的自定义应用程序构建数据流管道，主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源（如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等）中连续捕获、传送和存储数TB数据。
完成服务的开通、删除、配置操作，并将用户信息同步到数据面。 完成数据面资源的申请与自动部署。 服务数据面 接收用户发送数据的请求，对已鉴权的数据接收并存储。 接收用户获取数据的请求，在鉴权后输出对应的用户数据。 按时老化存储在系统中的用户数据。 根据用户配置，将用户数据存储到对象存储服务（Object
入门 DIS使用流程简介 步骤1：开通DIS通道 步骤2：准备DIS应用开发环境 步骤3：发送数据到DIS 步骤4：从DIS获取数据 获取认证信息 连接OBS 自动创建委托
请根据实际情况配置 bodySerializeType 否 DIS数据包上传格式(非原始数据格式)。 json：DIS数据包封装为json格式，满足普通使用。 protobuf：DIS数据包封装为二进制格式，可以减少体积约1/3，在数据量较大的情况下推荐使用此格式。 json 父主题： 使用DIS
Install dis-flume-plugin successfully. 父主题： 使用DIS Flume Plugin上传与下载数据
Storage Service，简称OBS）上传数据。 前提条件 已参考自动创建委托创建IAM委托，授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时，DIS会将通道数据周期性导入OBS。 父主题： 入门
在业务交互关系，数据接入服务的权限依赖其他服务的权限实现功能。因此给用户授予数据接入服务的权限时，需要同时授予依赖的权限，数据接入服务的权限才能生效。 表1 DIS系统权限 系统角色 策略类别 描述 依赖关系 DIS Administrator 系统角色 对数据接入服务的所有执行权限。
Uninstall dis-flume-plugin successfully. 父主题： 使用DIS Flume Plugin上传与下载数据
自动创建委托 用户创建DIS通道，选择将数据转储到对象存储服务（Object Storage Service，简称OBS）、MapReduce服务（MRS）集群、数据仓库服务（Data Warehouse Service，简称DWS）或数据湖探索（Data Lake Insigh
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
