检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Plugin是数据接入服务（DIS）为Flume开发的插件，包含DIS Source与DIS Sink。 DIS Source用于从DIS服务下载数据到Flume Channel。 DIS Sink用于将Flume Channel中的数据上传到DIS服务。 DIS Flume Plugin安装流程如图1所示。
什么是DIS？ 数据接入服务（Data Ingestion Service）为处理或分析流数据的自定义应用程序构建数据流管道，主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源（如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等）中连续捕获、传送和存储数TB数据。
使用初始化DIS客户端后的客户端实例将用户的流式数据通过DIS通道上传至DIS服务。 其中，“streamName”的配置值要与开通DIS通道中“通道名称”的值一致，“endpoint”，“ak”，“sk”，“region”，“projectId”信息请参见获取认证信息。 批量上传流式数据的主体代码如下：
完成服务的开通、删除、配置操作，并将用户信息同步到数据面。 完成数据面资源的申请与自动部署。 服务数据面 接收用户发送数据的请求，对已鉴权的数据接收并存储。 接收用户获取数据的请求，在鉴权后输出对应的用户数据。 按时老化存储在系统中的用户数据。 根据用户配置，将用户数据存储到对象存储服务（Object Storage
Insight，简称DLI）中，需要通过创建IAM委托授权DIS服务去访问用户的OBS、MRS、DWS或DLI资源。 使用账号首次进入界面添加转储任务时，系统会自动弹出创建委托界面。 单击 “同意授权”则平台会自动创建委托。 委托授权成功后，隶属于该账号下的IAM子用户也可添加转储任务。
Insight，简称DLI）中，需要通过创建IAM委托授权DIS服务去访问用户的OBS、MRS、DWS或DLI资源。 使用账号首次进入界面添加转储任务时，系统会自动弹出创建委托界面。 单击 “同意授权”则平台会自动创建委托。 委托授权成功后，隶属于该账号下的IAM子用户也可添加转储任务。 父主题： 入门
DIS）。数据接入服务面向IoT、互联网等实时数据，提供高效采集、传输、分发能力，支持多种IoT协议，提供丰富的接口，帮助您快速构建实时数据应用。 您可以使用本文档提供API对实时数据进行相关操作，如上传、下载等。支持的全部操作请参见API概览。 在调用数据接入服务API之前，请确保已经充分了解数据接入服
根据企业用户的职能，设置不同的访问权限，以达到用户之间的权限隔离。 将DIS资源委托给更专业、高效的其他华为云账号或者云服务，这些账号或者云服务可以根据权限进行代运维。 如果华为云账号已经能满足您的要求，不需要创建独立的IAM用户，您可以跳过本章节，不影响您使用DIS服务的其它功能。
区域。 资源的价格 不同区域的资源价格可能有差异，请参见华为云服务价格详情。 如何选择可用区？ 是否将资源放在同一可用区内，主要取决于您对容灾能力和网络时延的要求。 如果您的应用需要较高的容灾能力，建议您将资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低，则建议您将资源创建在同一可用区内。
限最小化的安全管控要求。 如表1所示，包括了DIS的所有系统权限。其中“依赖关系”表示该系统权限对其它权限的依赖。由于华为云各服务之间存在业务交互关系，数据接入服务的权限依赖其他服务的权限实现功能。因此给用户授予数据接入服务的权限时，需要同时授予依赖的权限，数据接入服务的权限才能生效。
适用于不知道消费位置，但想从指定的时间或者从已知上次消费的停止时间开始消费的场景 若最老一条数据的上传时间为C，则timestamp>=c即可 若timestamp大于最新一条数据的时间戳或者是未来时间，则从最新一条数据之后开始读取。 样例代码 使用初始化DIS客户端初始化后的客户端实例通过DIS通道获取数据。
Kafka Adapter概述 dis-kafka-adapter是数据接入服务（DIS）提供的一个sdk，支持原本使用Kafka Client上传数据的用户，以类似原来的操作将数据上传到DIS。 目前只支持Java版本。 父主题： 使用Kafka Adapter上传与下载数据
Kafka Adapter概述 dis-kafka-adapter是数据接入服务（DIS）提供的一个sdk，支持原本使用Kafka Client上传数据的用户，以类似原来的操作将数据上传到DIS。 目前只支持Java版本。 父主题： 使用Kafka Adapter上传与下载数据
而无需数小时或数天时间。 复杂的数据通道处理：您可以创建DIS应用程序和数据通道的Directed Acyclic Graphs（DAG）。在这一情景中，一个或多个DIS应用程序可将数据添加到一个DIS数据通道进行进一步处理，以便于进行通道处理器的后续阶段。 父主题： 一般性问题
账号 用户注册时的账号，账号对其所拥有的资源及云服务具有完全的访问权限，可以重置用户密码、分配用户权限等。由于账号是付费主体，为了确保账号安全，建议您不要直接使用账号进行日常管理工作，而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户，是云服务的使用人员，具有身份凭证（密码和访问密钥）。
添加转储任务 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 参照添加转储任务配置方法中的参数值。 配置如下参数： streamname='dis—test1' #已存在的通道名 task_name='113' 以添加OBS转储服务为例：value参数值设定与key对应
DIS Flink Connector概述 DIS Flink Connector是数据接入服务（DIS）提供的一个sdk。 DIS Flink Connector支持将DIS作为数据源创建Stream对接Flink。 父主题： 使用DIS Flink Connector上传与下载数据
app not found. 指定的APP不存在 请检查指定的APP名称是否正确 400 DIS.4335 Invalid IAM agency. 创建转储任务时，使用的IAM委托无效 检查DIS创建的dis_admin_agency或用户自定义的IAM委托是否存在，权限是否完整。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
