检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
相关资源 SDK下载 兼容性 如何校验软件包完整性?
DIS使用流程简介 DIS的使用流程如下: 步骤1:开通DIS通道 用户使用DIS前需要先开通DIS通道。 步骤2:准备DIS应用开发环境 用户开发DIS应用程序前,首先需要安装应用开发工具。然后获取SDK和样例工程,并导入到用户的开发环境中。 步骤3:发送数据到DIS 基于数据
App管理 创建消费App 查询App列表 删除App 查看App详情 查看App消费状态 父主题: API说明
Checkpoint管理 提交Checkpoint 查询Checkpoint详情 删除Checkpoint 父主题: API说明
SDK的概念。 SDK下载 兼容性 如何校验软件包完整性? 介绍使用DIS SDK进行二次开发过程中涉及到的资源信息。 开通DIS服务 介绍DIS服务和DIS通道的开通方式。 获取认证信息 介绍使用DIS SDK进行二次开发前需要进行的初始化工作。 Python:准备环境~~获取数据游标
开通DIS 开通DIS服务
使用配置文件初始化DIS SDK客户端实例。 在“dis-sdk-demo\src\main\resources”目录下的“dis.properties”文件中添加如下配置项。 ak/sk:用户在IAM中创建的AK/SK。 region:用户使用通道所在的区域。 endpoint:DIS的访问地址。
DIS使用流程简介 DIS的使用流程如下: 步骤1:开通DIS通道 用户使用DIS前需要先开通DIS通道。 步骤2:准备DIS应用开发环境 用户开发DIS应用程序前,首先需要安装应用开发工具。然后获取SDK和样例工程,并导入到用户的开发环境中。 步骤3:发送数据到DIS 基于数据
管理App App表示应用程序标识符。当多个应用程序分别消费同一通道的数据时,为区分不同应用程序的消费检查点,使用App作为标识。 您可以创建App,也可进入通道管理页面,查看接入该通道的App详情。 创建App 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。
数据管理 上传数据 下载数据 获取数据游标 父主题: API说明
类型通道对应的操作列,选择“更多 > 变更源数据类型”,弹出变更源数据类型对话框,修改创建通道时已设置的源数据类型。 “源数据类型”为“BLOB”、“JSON”、“CSV”的通道,当该通道无转储任务 , 才可修改源数据类型。 已配置源数据Schema的通道,更改了源数据类型后,已
和是否发送通知等参数。本节介绍了设置DIS通道告警规则的具体方法。 操作步骤 登录管理控制台。 选择“管理与监管 > 云监控服务 CES”。 在云监控服务的左侧导航树栏,选择“告警 > 告警规则”,在页面右侧单击“创建告警规则”。 根据界面提示设置DIS通道的告警规则,当前仅支持“自定义创建”。
一般性问题 什么是DIS? 什么是分区? DIS主要应用于哪些场景? DIS有哪些特点和优势? DIS有哪些模块及各模块功能? 如何开通DIS通道? 数据存储在DIS和转储其他资源有什么区别? 如何校验软件包完整性? DIS如何发送和接收数据? 什么是流控? DIS对接EPS鉴权
DIS SDK能做什么 DIS概述 数据接入服务(Data Ingestion Service)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。
不影响您使用DIS服务的其它功能。 本章节为您介绍对用户授权的方法,操作流程如图1所示。 前提条件 给用户组授权之前,请您了解用户组可以添加的DIS权限,并结合实际需求进行选择,DIS支持的系统权限,请参见DIS系统权限。若您需要对除DIS之外的其它服务授权,IAM支持服务的所有权限请参见权限策略。
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 响应参数 无 请求示例 删除指定通道的标签。 DELETE
使用Kafka Adapter上传与下载数据 Kafka Adapter概述 准备环境 上传数据 数据下载的消费模式 下载数据之消费位移 与原生KafkaConsumer接口适配说明 父主题: 使用DIS
什么是流控? 流控就是超过通道内分区的最大吞吐量开始限流,对资费和数据没有影响。 父主题: 一般性问题
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型
准备环境 已完成如下环境准备: 已安装python2.7或以上版本,配置好python环境变量。 已安装pycharm。 父主题: 使用SDK(Python)