检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
概述 欢迎使用数据接入服务(Data Ingestion Service, DIS)。数据接入服务面向IoT、互联网等实时数据,提供高效采集、传输、分发能力,支持多种IoT协议,提供丰富的接口,帮助您快速构建实时数据应用。 您可以使用本文档提供API对实时数据进行相关操作,如上传
转储相关问题 DIS如何实现转储数据至DWS的特定列 Schema如何支持字段缺省或者为NULL 如何专线接入DIS 读取通道数据时,如何区分不同类型数据?
云上,进行离线分析、存储查询及机器学习,对客户进行分类和信息查询,识别出大型客户,加强服务,进一步提升客户满意度。 图2 场景示例图 数据接入备份 将大量滚动日志文件传输到云端做备份,用于数据丢失或异常后的恢复和故障分析。同时大量小文本文件可合并转储为大文件,提高数据处理性能。 图3
自动创建委托 用户创建DIS通道,选择将数据转储到对象存储服务(Object Storage Service,简称OBS)、MapReduce服务(MRS)集群、数据仓库服务(Data Warehouse Service,简称DWS)或数据湖探索(Data Lake Insigh
如何调用API 构造请求 认证鉴权 返回结果
通道管理 创建通道 查询通道列表 删除指定通道 查看通道详情 修改分区数量 更新通道信息 添加权限策略 查询权限策略列表 父主题: API说明
的管理。 已开通企业项目服务的用户,可以使用企业项目管理华为云上的云服务资源。 绑定企业项目 用户可以在创建通道时为通道选择所属的企业项目,从而将DIS通道与企业项目进行关联,详情请参见步骤1:开通DIS通道。在选择“企业项目”的下拉列表中,将显示用户在企业项目服务中已创建的项目
服务控制面 完成服务的开通、删除、配置操作,并将用户信息同步到数据面。 完成数据面资源的申请与自动部署。 服务数据面 接收用户发送数据的请求,对已鉴权的数据接收并存储。 接收用户获取数据的请求,在鉴权后输出对应的用户数据。 按时老化存储在系统中的用户数据。 根据用户配置,将用户数据存储到对象存储服务(Object
DIS使用流程简介 DIS的使用流程如下: 步骤1:开通DIS通道 用户使用DIS前需要先开通DIS通道。 步骤2:准备DIS应用开发环境 用户开发DIS应用程序前,首先需要安装应用开发工具。然后获取SDK和样例工程,并导入到用户的开发环境中。 步骤3:发送数据到DIS 基于数据
请检查转储任务是否存在。 400 DIS.4355 The transfer task already exists. 创建转储任务时,同一个通道下已存在同名的转储任务 请修改新创建转储任务的名称并重新创建。 400 DIS.4357 Exceeded transfer task quota
App管理 创建消费App 查询App列表 删除App 查看App详情 查看App消费状态 父主题: API说明
Checkpoint管理 提交Checkpoint 查询Checkpoint详情 删除Checkpoint 父主题: API说明
标签管理 给指定通道添加标签 查询指定通道的标签信息 删除指定通道的标签 批量添加资源标签 查询指定区域所有标签集合 使用标签过滤资源(通道等) 批量删除资源标签 父主题: API说明
内容导航 SDK开发指南指导您如何安装和配置开发环境、如何通过调用DIS SDK提供的接口函数进行二次开发。 章节 内容 DIS SDK能做什么 内容导航 简要介绍DIS的概念和DIS SDK的概念。 SDK下载 兼容性 如何校验软件包完整性? 介绍使用DIS SDK进行二次开发过程中涉及到的资源信息。
开通DIS 开通DIS服务
StringSerializer.class.getName()); // 默认情况下不需要设置endpoint,会自动使用域名访问;如需使用指定的endpoint,解除如下注释并设置endpoint即可 // props.setProperty(DISConfig
区域和可用区 什么是区域、可用区? 我们用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用
“/”,且首尾字符不能为空格。 Apache 为通道增加标签 在购买接入通道页,为通道增加标签。 登录管理控制台。 在控制台页面中选择“服务列表 > 大数据 > 数据接入服务 DIS”。 单击“购买接入通道”,进入“购买接入通道”页面。 “高级配置”页签,选择“现在配置”,展开标签页。
查看事件 介绍用户如何查找通道或转储任务发生的事件。 在“事件管理”页面中单击“事件”,默认显示当前所有通道或转储任务已发生的事件。 在事件列表右上方的下拉列表中通过选择不同的筛选条件搜索事件。可从事件级别和事件源两个维度进行筛选。 在下拉列表中选择“所有事件级别”、“正常”或“警告”。
返回结果 状态码 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于获取用户Token接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请求