检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在线安装DIS Logstash Plugin 安装DIS Logstash Plugin有在线和离线安装两种方式： 在线安装无需下载插件包，直接连接公网即可安装。 前提条件 已安装PuTTY工具。
离线安装DIS Logstash Plugin 安装DIS Logstash Plugin有在线和离线安装两种方式： 离线安装需要获取插件包并执行安装脚本。 前提条件 已安装PuTTY工具。 操作步骤 使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。
使用DIS Logstash Plugin上传与下载数据 DIS Logstash Plugin概述 安装DIS Logstash Plugin前准备 在线安装DIS Logstash Plugin 离线安装DIS Logstash Plugin 配置DIS Logstash Plugin
创建用户并授权使用DIS 如果您需要对您所拥有的数据接入服务（DIS）进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），通过IAM，您可以： 根据企业的业务组织，在您的华为云账号中，给企业中不同职能部门的员工创建
下载流式数据 背景信息 下载流式数据，需要确定从分区的什么位置开始获取（即获取游标）。确定起始位置后，再循环获取数据。 获取游标有如下五种方式： AT_SEQUENCE_NUMBER AFTER_SEQUENCE_NUMBER TRIM_HORIZON LATEST AT_TIMESTAMP
添加DWS转储任务 功能介绍 本接口用于添加DWS转储任务。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/streams/{stream_name}/transfer-tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id
查询转储任务详情 功能介绍 查询转储任务详情。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/streams/{stream_name}/transfer-tasks/{task_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
上传数据 功能介绍 本接口用于上传数据到DIS通道中。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/records 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 请求参数 表2 请求Header
查询分区监控 功能介绍 本接口用于查询通道指定分区的监控数据。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/streams/{stream_name}/partitions/{partition_id}/metrics 表1 路径参数 参数
数据下载的消费模式 同Kafka类似，当前dis kafka adapter支持三种消费模式。 assign模式 由用户手动指定consumer实例消费哪些具体分区，此时不会拥有group management机制，也就是当group内消费者数量变化或者通道扩缩容的时候不会有重新分配分区的行为发生
数据下载的消费模式 同Kafka类似，当前dis kafka adapter支持三种消费模式。 assign模式 由用户手动指定consumer实例消费哪些具体分区，此时不会拥有group management机制，也就是当group内消费者数量变化或者通道扩缩容的时候不会有重新分配分区的行为发生
提交Checkpoint 功能介绍 本接口用于提交Checkpoint。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/checkpoints 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。
查询Checkpoint详情 功能介绍 本接口用于查询Checkpoint详情。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/checkpoints 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目
修订记录 发布日期 修订说明 2019-12-11 第二十四次正式发布： 增加dis-kafka-adapter，增加使用Kafka Adapter上传与下载数据。 2019-10-08 第二十三次正式发布： 优化Java和Python SDK。 2019-07-08 第二十次正式发布
获取数据游标 功能介绍 本接口用于获取数据游标。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/cursors 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 表2 Query参数 参数 是否必选
管理源数据Schema 源数据Schema，即用户的JSON或CSV数据样例，用于描述JSON或CSV数据格式。DIS可以根据此JSON或CSV数据样例生成Avro schema, 将通道内上传的JSON或CSV数据转换为Parquet或CarbonData格式。 创建源数据Schema
查看App消费状态 功能介绍 本接口用于查询APP消费状态。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/apps/{app_name}/streams/{stream_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
删除Checkpoint 功能介绍 本接口用于删除Checkpoint。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/checkpoints 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
