-
如何开通DIS通道? - 数据接入服务 DIS
-
什么是DIS? - 数据接入服务 DIS
-
DIS Flume Plugin概述 - 数据接入服务 DIS
Flume Plugin是数据接入服务(DIS)为Flume开发的插件,包含DIS Source与DIS Sink。DIS Source用于从DIS服务下载数据到Flume Channel,DIS Sink用于将Flume Channel中的数据上传到DIS服务。DIS Flume Plugin安装流程如图1所示。
-
DIS Logstash Plugin概述 - 数据接入服务 DIS
Logstash Plugin是数据接入服务(DIS)为Logstash开发的插件,包含DIS Input与DIS Output。DIS Input用于从DIS服务下载数据到Logstash,DIS Output用于将Logstash中的数据上传到DIS服务。DIS Logstash Plugin安装流程如图1所示。
-
基本概念 - 数据接入服务 DIS
账号 用户注册时的账号,账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。
-
区域和可用区 - 数据接入服务 DIS
区域。 资源的价格 不同区域的资源价格可能有差异,请参见华为云服务价格详情。 如何选择可用区? 是否将资源放在同一可用区内,主要取决于您对容灾能力和网络时延的要求。 如果您的应用需要较高的容灾能力,建议您将资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低,则建议您将资源创建在同一可用区内。
-
最新动态 - 数据接入服务 DIS
-
概述 - 数据接入服务 DIS
概述 欢迎使用数据接入服务(Data Ingestion Service, DIS)。数据接入服务面向IoT、互联网等实时数据,提供高效采集、传输、分发能力,支持多种IoT协议,提供丰富的接口,帮助您快速构建实时数据应用。 您可以使用本文档提供API对实时数据进行相关操作,如上传
-
DIS Flink Connector概述 - 数据接入服务 DIS
DIS Flink Connector概述 DIS Flink Connector是数据接入服务(DIS)提供的一个sdk,支持将DIS作为数据源创建Stream对接Flink。 父主题: 使用DIS Flink Connector上传与下载数据
-
更新转储任务 - 数据接入服务 DIS
19 20 21 //需配置转储任务的全量参数,不支持更新单个参数 UpdateTransferTaskRequest request = new UpdateTransferTaskRequest(); // 配置待更新的转储任务所属通道的名称 request.setStreamName(streamName);
-
应用场景 - 数据接入服务 DIS
应用场景 实时数据处理 实时收集城市各交通枢纽的车辆通行数据,缓存在通道中,分析平台周期读取通道中的数据分析后将结果应用到调度系统,实现对停车场开放时长和交通资源的调配。 图1 场景示例图 实时文件传输 实时检测客户应用系统中产生的文件,并采集上传到云上,进行离线分析、存储查询及
-
添加转储任务 - 数据接入服务 DIS
添加转储任务 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 参照添加转储任务配置方法中的参数值。 配置如下参数: streamname='dis—test1' #已存在的通道名 task_name='113' 以添加OBS转储服务为例:value参数值设定与key对应
-
添加转储任务 - 数据接入服务 DIS
TypeEnum.TEXT.getType()); // 设置从DIS通道拉取数据时的初始偏移量: 默认LATEST,从通道内最新上传的记录开始读取; TRIM_HORIZON,从通道内最早的未过期记录开始读取 descriptor.setConsumerStrategy(Pa
-
DIS主要应用于哪些场景? - 数据接入服务 DIS
而无需数小时或数天时间。 复杂的数据通道处理:您可以创建DIS应用程序和数据通道的Directed Acyclic Graphs(DAG)。在这一情景中,一个或多个DIS应用程序可将数据添加到一个DIS数据通道进行进一步处理,以便于进行通道处理器的后续阶段。 父主题: 一般性问题
-
管理企业项目 - 数据接入服务 DIS
图2 查看通道的企业项目 同时,在企业管理的控制台中,查询指定项目中的资源列表时,也可以查询到DIS服务的资源。 按企业项目搜索通道 登录DIS管理控制台,单击“通道管理”,在通道列表上方单击“所有项目”,然后在下拉列表中选择所需搜索的项目名称,即可查看与该项目关联的所有通道。 将通道迁入或迁出企业项目
-
错误码 - 数据接入服务 DIS
app not found. 指定的APP不存在 请检查指定的APP名称是否正确 400 DIS.4335 Invalid IAM agency. 创建转储任务时,使用的IAM委托无效 检查DIS创建的dis_admin_agency或用户自定义的IAM委托是否存在,权限是否完整。
-
自动创建委托 - 数据接入服务 DIS
Insight,简称DLI)中,需要通过创建IAM委托授权DIS服务去访问用户的OBS、MRS、DWS或DLI资源。 使用账号首次进入界面添加转储任务时,系统会自动弹出创建委托界面。 单击 “同意授权”则平台会自动创建委托。 委托授权成功后,隶属于该账号下的IAM子用户也可添加转储任务。 父主题: 入门
-
自动创建委托 - 数据接入服务 DIS
Insight,简称DLI)中,需要通过创建IAM委托授权DIS服务去访问用户的OBS、MRS、DWS或DLI资源。 使用账号首次进入界面添加转储任务时,系统会自动弹出创建委托界面。 单击 “同意授权”则平台会自动创建委托。 委托授权成功后,隶属于该账号下的IAM子用户也可添加转储任务。
-
事件通知概述 - 数据接入服务 DIS
支持的事件类别和事件 事件是租户通道状态发生变化的记录。它可以是由用户操作触发的(比如审计事件),也有可能是通道状态变化引起的(比如转储任务异常或转储任务恢复)。以下为当前DIS支持的事件和事件类别列表。 下表显示了事件源类型为通道的事件。 表1 事件源类型为通道的事件 事件源类型
-
入门实践 - 数据接入服务 DIS
系列操作后,可以根据自身的业务需求使用DIS提供的一系列常用实践。 表1 常用最佳实践 实践 描述 案例 使用DIS实时分析车辆位置 数据接入服务(Data Ingestion Service,简称DIS)实时采集车辆位置数据并上传到华为云的表格存储服务(CloudTable S