检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
”通道的监控。有数据上传,表示DIS服务接收正常,Agent安装成功。 Windows服务器上验证DIS Agent 使用文件管理器进入“logs”目录。 使用编辑器打开“dis-agent.log”文件查看日志。 显示如下信息,表示Agent正常运行。 Agent: Startup
安装DIS Agent 前提条件 已安装PuTTY工具。 Linux服务器上安装DIS Agent 使用PuTTY工具登录日志所在服务器,即检查依赖的服务器。 将获取DIS Agent包中获取的“dis-agent-X.X.X.zip”安装包上传到“/opt”文件夹中。 解压“dis-agent-X
已从Eclipse官网下载并安装Eclipse IDE for Java Developers最新版本。 已在Eclipse中配置好JDK。 父主题: 使用SDK(Java)
删除转储任务 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 使用DIS SDK删除指定的转储任务。 1 2 3 4 5 6 7 DeleteTransferTaskRequest request = new DeleteTransferTaskRequest();
删除APP 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 使用DIS SDK创建DIS通道,需要指定APP名称。 1 2 // 待删除APP名称 String appName = "myApp"; 配置APP名称之后,通过调用deleteApp的方法删除APP。
配置好参数后,执行createstream_sample.py文件默认调用createStream_test方法,获取响应201创建成功。 父主题: 使用SDK(Python)
在Linux服务器上停止DIS Agent 使用PuTTY工具登录日志所在服务器。 进入DIS Agent安装目录。 cd /opt/dis-agent-X.X.X/ 停止DIS Agent。 bash bin/stop-dis-agent.sh 请确保使用bash执行脚本,否则使用sh、./ 等方式启
新增Checkpoint 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 使用DIS SDK创建Checkpoint,需要指定通道名称、APP名称、分区编号、序列号以及Checkpoint类型。 其中,“streamName”的配置值要与开通DIS通道中“Stream
streamname=”dis-test1“ #已存在的通道名 5种游标设置使用参考如下: # startSeq与AT_SEQUENCE_NUMBER/AFTER_SEQUENCE_NUMBER搭配使用 r = cli.getCursor(streamname, partitionId
如何开通DIS通道? 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 单击“购买接入通道”配置相关参数。 表1 接入通道参数说明 参数 参数解释 参数示例 计费模式 按需计费 按需计费 区域 指的是云服务所在的物理位置。您可以在下拉框中选择并切换区域。 华北-北京1
4 { "sequence_number": "10", "metadata": "metadata" } 父主题: 使用SDK(Python)
解析并上传到DIS通道(通道源数据类型为BLOB/JSON/CSV)。 DIS Agent安装流程如图1所示。 图1 安装流程 父主题: 使用Agent上传数据
配置好以上参数后,执行add_dump_task_sample.py文件默认调用add_dump_task_test方法,获取响应201创建成功。 父主题: 使用SDK(Python)
X.X.X目录下是所有依赖的jar包,如果使用非Maven工程,则可导入此lib目录下的所有jar到环境依赖即可 huaweicloud-dis-kafka-adapter-X.X.X-demo是一个样例工程,使用maven编写 例如使用IntelliJ IDEA,可按如下方式导入工程。
bin/start-dis-agent.sh -c config/anotherAgent.yml -n anotherAgent 请确保使用bash执行脚本,否则使用sh、./ 等方式启动脚本,可能由于系统默认shell的差异导致启动失败。 显示类似如下信息,表示Agent启动成功。 Success
查询通道详情 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 使用DIS SDK查询指定通道信息。 1 2 3 4 String streamName = "myStream"; DescribeStreamRequest describeStreamRequest
用。(例如上传一条数据到新分区,其sequenceNumber起始为0,上传100条之后,则最后一条的sequenceNumber为99;如超过生命周期之后,0~99的数据则不可用) 分区的数据有效范围可以通过调用describeStream(查询通道详情)接口获取,其seque
准备环境 已安装python2.7或以上版本,配置好python环境变量。 已安装pycharm。 父主题: 使用SDK(Python)
下关于AK/SK加密的使用说明。 获取方式请参见检查认证信息。 请根据实际情况配置 encrypt.key 否 用户加密时使用key值。 说明: 如果用户需要使用加密的AK或者SK,则必须配置该参数(自己在agent.yml文件中添加),请务必保证加密时使用的key值和此处写的encrypt
查询转储详情 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 使用DIS SDK查询指定转储任务的详情。 1 2 3 4 5 6 7 DescribeTransferTaskRequest request = new DescribeTransferTaskRequest();