检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看监控指标 操作场景 云监控服务可以对数据接入服务通道的运行状态进行日常监控。您可以通过云监控管理控制台,直观地查看各项监控指标。 由于监控数据的获取与传输会花费一定时间,因此,云监控显示的是当前时间5~10分钟前的状态。如果您的数据接入服务通道刚刚创建完成,请等待5~10分钟后查看监控数据
管理通道 通道列表简介 查看通道监控信息 变更源数据类型 管理源数据Schema 管理通道标签 管理App 授权管理 调试通道 弹性伸缩分区 删除通道
创建通道 添加转储任务 删除通道 删除转储任务 查询通道列表 查询转储列表 查询通道详情 查询转储详情 Json格式上传流式数据 Protobuf格式上传流式数据 下载流式数据 创建APP 删除APP 查询APP详情 查询APP列表 新增Checkpoint 查询Checkpoint 变更分区数量
准备环境 配置样例工程 初始化DIS客户端 创建通道 添加转储任务 更新转储任务 删除转储任务 查询转储列表 查询转储详情 删除通道 查询通道列表 查询通道详情 下载流式数据 上传流式数据 获取数据游标 创建APP 删除APP 新增Checkpoint 查询Checkpoint 变更分区数量
用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择“数据接入服务”,进入DIS主界面创建通道,若未提示权限不足,表示“DIS Operator”已生效。
101 Switching Protocols 切换协议。只能切换到更高级的协议。 例如,切换到HTTP的新版本协议。 200 OK 服务器已成功处理了请求。 201 Created 创建类的请求完全成功。 202 Accepted 已经接受请求,但未处理完成。
Java:准备环境~~变更分区数量 介绍使用DIS SDK进行的常用操作(匹配java)。 DIS服务端错误码 介绍使用DIS SDK过程中遇到异常时的响应信息。 父主题: 简介
验证DIS Agent Linux服务器上验证DIS Agent 使用PuTTY工具登录日志所在服务器。 进入DIS Agent的日志目录。 cd /opt/dis-agent-X.X.X/logs 查看日志。 tail -100f dis-agent.log 显示如下信息,表示Agent
操作:当前操作列表支持删除通道、扩缩容、查看授权管理、查看转储任务和变更源数据类型的操作。 父主题: 管理通道
新增了如下内容: 创建APP 删除APP 查询Checkpoint 变更分区数量 2018-06-12 第五次正式发布。 修改了如下内容: 开通DIS服务 DIS服务端错误码 2018-05-11 第四次正式发布。
访问DIS时,需要先切换至授权区域。 角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度,提供有限的服务相关角色用于授权。由于华为云各服务之间存在业务依赖关系,因此给用户授予角色时,可能需要一并授予依赖的其他角色,才能正确完成业务。
DIS Spark Streaming概述 DIS Spark Streaming是数据接入服务(DIS)提供的一个sdk,支持将DIS作为数据源创建DStream对接SparkStreaming。 DIS Spark Streaming使用流程如图1所示。 图1 DIS Spark
DIS Logstash Plugin概述 DIS Logstash Plugin是数据接入服务(DIS)为Logstash开发的插件,包含DIS Input与DIS Output。 DIS Input用于从DIS服务下载数据到Logstash。 DIS Output用于将Logstash
DIS Flume Plugin概述 DIS Flume Plugin是数据接入服务(DIS)为Flume开发的插件,包含DIS Source与DIS Sink。 DIS Source用于从DIS服务下载数据到Flume Channel。 DIS Sink用于将Flume Channel
DIS Agent概述 DIS Agent是数据接入服务(DIS)提供的一个客户端程序,具有如下功能: 持续查询文本文件,实时收集增量数据按分隔符解析并上传到DIS通道(通道源数据类型为BLOB/JSON/CSV)。 DIS Agent安装流程如图1所示。 图1 安装流程 父主题:
您可以在下拉框中选择并切换区域。 华北-北京1 基本信息 通道名称 用户发送或者接收数据时,需要指定通道名称,通道名称不可重复。通道名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。
步骤2:准备DIS应用开发环境 用户开发DIS应用程序前,首先需要安装和配置应用开发环境。获取SDK和样例工程,并导入到用户的开发环境中。 前提条件 JDK(1.8版本或以上版本)工具已安装成功。 Eclipse工具已安装成功。 操作步骤 Eclipse中配置JDK。 打开Eclipse
您可以在下拉框中选择并切换区域。 华北-北京1 基本信息 通道名称 用户发送或者接收数据时,需要指定通道名称,通道名称不可重复。通道名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。
您可以在下拉框中选择并切换区域。 华北-北京1 基本信息 通道名称 用户发送或者接收数据时,需要指定通道名称,通道名称不可重复。通道名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。