检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图解数据接入服务DIS
SDK客户端实例。 在“dis-sdk-demo\src\main\resources”目录下的“dis.properties”文件中添加如下配置项。 ak/sk:用户在IAM中创建的AK/SK。 region:用户使用通道所在的区域。 endpoint:DIS的访问地址。 projectId:通道所在的资源ID。
最大长度:60 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型
使用CES监控DIS 支持的监控指标 设置告警规则 查看监控指标
使用Agent上传数据 DIS Agent概述 安装前准备 安装DIS Agent 配置DIS Agent 启动DIS Agent 验证DIS Agent 停止DIS Agent 父主题: 使用DIS
DIS使用流程简介 DIS的使用流程如下: 步骤1:开通DIS通道 用户使用DIS前需要先开通DIS通道。 步骤2:准备DIS应用开发环境 用户开发DIS应用程序前,首先需要安装应用开发工具。然后获取SDK和样例工程,并导入到用户的开发环境中。 步骤3:发送数据到DIS 基于数据上传业务开
通道列表简介 通道列表中可查看当前用户的已创建的所有通道信息。通道信息包括: 名称/ID:用户发送或者接收数据时,需要指定通道名称,通道名称不可重复。通道名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。 状态:通道的运行状态。 通道类型:普通和高级。 普通通道单分
项目ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型
请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 响应参数 状态码: 200 表4 响应Body参数
支持的监控指标 功能说明 本节定义了数据接入服务上报云监控的监控指标的命名空间,监控指标列表和维度,用户可以通过云监控检索数据接入服务产生的监控指标和告警信息。 命名空间 SYS.DAYU 监控指标 DIS通道支持的监控指标如表1所示。 表1 DIS的监控指标 指标ID 指标名称
通道 警告 通道自动扩缩容失败 通道 警告 通道流量异常 通道 警告 通道流量恢复 下表显示了事件源类型为用户的事件。 表2 事件源类型为用户的事件 事件源类型 事件级别 事件 用户 警告 配额异常 下表显示了事件源类型为转储任务的事件。 表3 事件源类型为转储任务的事件 事件源类型
转储至OBS 源数据类型JSON/BLOB/CSV==>转储文件格式Text 表1 转储Text格式文件的配置参数 参数 说明 取值 任务名称 用户创建转储任务时,需要指定转储任务名称,同一通道的转储任务名称不可重复。任务名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。
最早:最小偏移量,即读取最早的有效数据。 最新 数据转储周期 根据用户配置的时间,周期性的将数据导入目的地(OBS,MRS,DLI,DWS),若某个时间段内无数据,则此时间段不会生成打包文件。 取值范围:30~900。 单位:秒。 默认配置为300秒。 - 数据临时桶 用户数据先临时存储在OBS桶中,再转储到
步骤4:从DIS获取数据 功能简介 从DIS服务中下载数据。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X.zip”压缩包中“\dis-sdk-demo\src\main\java\com\bigdata\dis\sd
位置为DLI类型的数据表,且用户需具有该表的插入权限。 此配置项仅支持选择,不可手动输入。 配置此项必须已配置“DLI 数据库”。 偏移量 最新:最大偏移量,即获取最新的有效数据。 最早:最小偏移量,即读取最早的有效数据。 最新 数据转储周期 根据用户配置的时间,周期性的将数据导
存储该通道数据的DWS数据库模式下的数据表。 - 数据分隔符 用户数据的字段分隔符,根据此分隔符分隔用户数据插入DWS数据表的相应列。 取值范围:不可为空 - 偏移量 最新:最大偏移量,即获取最新的有效数据。 最早:最小偏移量,即读取最早的有效数据。 最新 数据转储周期 根据用户配置的时间,周期性的将数据导入目
附录 错误码 状态码 获取项目ID 介绍如何在控制台或者调用API获取项目ID。
步骤3:发送数据到DIS 功能简介 将用户本地数据通过DIS通道不断上传至DIS服务。 目前数据支持存储至DIS和对象存储服务(Object Storage Service,简称OBS)MapReduce服务(MapReduce Service,简称MRS)、数据仓库服务(Data
数据接入服务-成长地图 | 华为云 数据接入服务 数据接入服务(Data Ingestion Service,简称DIS)面向IoT、互联网等实时数据,提供高效采集、传输、分发能力,支持多种IoT协议,提供丰富的接口,帮助您快速构建实时数据应用。 产品介绍 图说DIS 图说ECS
DIS Agent概述 DIS Agent是数据接入服务(DIS)提供的一个客户端程序,具有如下功能: 持续查询文本文件,实时收集增量数据按分隔符解析并上传到DIS通道(通道源数据类型为BLOB/JSON/CSV)。 DIS Agent安装流程如图1所示。 图1 安装流程 父主题: