检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询通道列表 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 使用DIS SDK列出当前活动的通道。 使用setLimit方法设定每次查询时返回的通道数量,若不指定则默认返回的通道数量上限为10。即通道数量少于等于10时显示实际通道数量,通道数量大于10时显示为10。
Unauthorized 在客户端提供认证信息后,返回该状态码,表明服务端指出客户端所提供的认证信息不正确或非法。 402 Payment Required 保留请求。 403 Forbidden 请求被拒绝访问。 返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒
2019-07-03 第十九次正式发布: Java SDK不兼容原生Kafka客户端,删除“连接Kafka consumer”。 2019-05-14 第十八次正式发布: 支持使用SDK实现数据的加密上传下载,修改初始化DIS客户端。 2019-05-07 第十七次正式发布: 查询通道列表SDK增加分页功能说明,修改查询通道列表。
DIS Agent概述 DIS Agent是数据接入服务(DIS)提供的一个客户端程序,具有如下功能: 持续查询文本文件,实时收集增量数据按分隔符解析并上传到DIS通道(通道源数据类型为BLOB/JSON/CSV)。 DIS Agent安装流程如图1所示。 图1 安装流程 父主题:
Reimport”,重新引入maven依赖库。 验证Flink Streaming Source作业 实际场景中,Flink Streaming作业需要提交在Flink集群上运行,但本次验证只介绍在本地IDE上测试,目的是了解sdk基本使用方法。测试完成后用户可自行创建集(如MRS集群)并提交作业验证。 使用注册账户登录DIS控制台。
自动提交策略由消费者协调器(Coordinator)每隔${auto.commit.interval.ms}毫秒执行一次偏移量的提交;手动提交需要由客户端自己控制偏移量的提交。 自动提交 在创建一个消费者时,默认是自动提交偏移量,默认的提交间隔是5000ms。使用自动提交相关参数设置如下: props
自动提交策略由消费者协调器(Coordinator)每隔${auto.commit.interval.ms}毫秒执行一次偏移量的提交;手动提交需要由客户端自己控制偏移量的提交。 自动提交 在创建一个消费者时,默认是自动提交偏移量,默认的提交间隔是5000ms。使用自动提交相关参数设置如下: props
如果Heartbeat的结果不为STABLE,则消费者会发起joinGroup的请求,通知服务端自己要加入消费组,服务端收到客户端的join请求之后,会将消费组重新分配,此时返回一个syncDelayedTimeMs,告诉客户端分配需要多久完成,客户端可以等待syncDelayedTimeMs之后,再发起同步请求(SyncGroup)获取分配结果
如果Heartbeat的结果不为STABLE,则消费者会发起joinGroup的请求,通知服务端自己要加入消费组,服务端收到客户端的join请求之后,会将消费组重新分配,此时返回一个syncDelayedTimeMs,告诉客户端分配需要多久完成,客户端可以等待syncDelayedTimeMs之后,再发起同步请求(SyncGroup)获取分配结果
与原生KafkaProducer接口适配说明 DISKafkaProducer的实现与KafkaProducer的实现不同,DISKafkaProducer的客户端与服务端通过Rest API实现,而KafkaProducer是基于TCP协议实现,在接口兼容上有如下差异。 表1 适配说明 原生KafkaProducer
与原生KafkaProducer接口适配说明 DISKafkaProducer的实现与KafkaProducer的实现不同,DISKafkaProducer的客户端与服务端通过Rest API实现,而KafkaProducer是基于TCP协议实现,在接口兼容上有如下差异。 表1 适配说明 原生KafkaProducer
可在界面进行简单的上传和下载操作,验证通道的可用性。 通道分区状态为ACTIVE(可用)时,同时支持上传和下载。 通道分区状态为DELETED(删除中)时,仅支持下载,不支持上传。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 单击通道名称,进入所选通道的管理页面。
登录DIS管理控制台。 单击页面右上角的“费用”。 单击“充值”,系统自动跳转到充值窗口。 根据界面提示信息,对账户进行充值。 充值成功后,关闭充值窗口,返回管理控制台首页。 单击“数据接入服务”,开通服务。 创建访问密钥。 DIS通过用户账户中的AK和SK进行签名验证,确保通过授权的账户才能访问指定的DIS资源。
=c即可 若timestamp大于最新一条数据的时间戳或者是未来时间,则从最新一条数据之后开始读取。 样例代码 使用初始化DIS客户端初始化后的客户端实例通过DIS通道获取数据。 其中,“streamName”的配置值要与开通DIS通道中“通道名称”的值一致,“endpoint”
异常信息 DIS服务端错误码
越长,序列号越大。 应用程序:一个DIS应用程序是读取和处理来自DIS数据通道的使用者。您可以使用客户端库(SDK)构建DIS应用程序。 客户端库:SDK是一个适用于Java的客户端库,帮助用户轻松构建DIS应用程序,用以读取和处理来自DIS数据通道的数据。 Project:用于
shell客户端完成建表操作。 准备Linux弹性云服务器。假设该弹性云服务器名称为“ecs-385d”,具体操作请参见准备弹性云服务器。 安装客户端并启动Shell访问CloudTable集群,具体操作请参见使用HBaseShell访问集群。 在HBase shell客户端执行create
使用SDK(Java) 准备环境 配置样例工程 初始化DIS客户端 创建通道 添加转储任务 更新转储任务 删除转储任务 查询转储列表 查询转储详情 删除通道 查询通道列表 查询通道详情 下载流式数据 上传流式数据 获取数据游标 创建APP 删除APP 新增Checkpoint 查询Checkpoint
SDK进行的常用操作(匹配python)。 Java:准备环境~~变更分区数量 介绍使用DIS SDK进行的常用操作(匹配java)。 DIS服务端错误码 介绍使用DIS SDK过程中遇到异常时的响应信息。 父主题: 简介
使用SDK(Python) 准备环境 配置样例工程 初始化DIS客户端 创建通道 添加转储任务 删除通道 删除转储任务 查询通道列表 查询转储列表 查询通道详情 查询转储详情 Json格式上传流式数据 Protobuf格式上传流式数据 下载流式数据 创建APP 删除APP 查询APP详情