检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取数据游标 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: partitionId="shardId-0000000000" streamname=”dis-test1“ #已存在的通道名 5种游标设置使用参考如下: # startSeq与AT_S
登录DIS控制台,等待2分钟后,查看表1中“streams”配置的通道的监控。如果显示有数据下载(蓝色线条),表示DIS Source运行成功。 验证DIS Sink 使用PuTTY工具远程登录Flume所在服务器。 确认已配置好包含dis sink的配置文件 可基于Flume自带的flume-conf
准备环境 已从Oracle官网下载并安装JDK1.8或以上版本,配置好JAVA环境变量。 已从Eclipse官网下载并安装Eclipse IDE for Java Developers最新版本。 已在Eclipse中配置好JDK。 父主题: 使用SDK(Java)
查询Checkpoint 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 2 3 streamname = "" #通道名称 appName="xx" # APP名称(APP是已存在状态) partitionId="shardId-0000000000"
上传流式数据 样例代码 使用初始化DIS客户端后的客户端实例将用户的流式数据通过DIS通道上传至DIS服务。 其中,“streamName”的配置值要与开通DIS通道中“通道名称”的值一致,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参见获取认证信息。
使用DIS SDK创建APP,需要指定APP名称。 1 2 // APP名称 String appName = "myApp"; 配置APP名称之后,通过调用createApp的方法创建APP。 dic.createApp(myApp); 父主题: 使用SDK(Java)
SDK创建Checkpoint,需要指定通道名称、APP名称、分区编号、序列号以及Checkpoint类型。 其中,“streamName”的配置值要与开通DIS通道中“Stream Name”的值一致。 1 2 3 4 5 6 7 8 9 10 11 12 13 //
停止DIS Agent 在Linux服务器上停止DIS Agent 使用PuTTY工具登录日志所在服务器。 进入DIS Agent安装目录。 cd /opt/dis-agent-X.X.X/ 停止DIS Agent。 bash bin/stop-dis-agent.sh 请确保使用bash执行脚本,否则使用sh、
查询Checkpoint 变更分区数量 2018-06-12 第五次正式发布。 修改了如下内容: 开通DIS服务 DIS服务端错误码 2018-05-11 第四次正式发布。 修改了如下内容: 开通DIS通道 DIS服务端错误码 Uquery更名为数据湖探索(DLI,Data Lake Insight)。
Json格式上传流式数据 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 streamname="dis-test1"| #已存在的通道名 putRecords_sample.py文件中的putRecords_test方法中的records为需要上传的数据内容,数据上传格式如下:
步骤2:准备DIS应用开发环境 用户开发DIS应用程序前,首先需要安装和配置应用开发环境。获取SDK和样例工程,并导入到用户的开发环境中。 前提条件 JDK(1.8版本或以上版本)工具已安装成功。 Eclipse工具已安装成功。 操作步骤 Eclipse中配置JDK。 打开Eclipse工具,选择“Window
setStreamName(streamName); // 指定待查询的转储任务名称 request.setTransferTaskName(taskName); 配置“DescribeTransferTaskRequest”对象之后,通过调用describeTransferTask的方法查询指定的转储任务详情。
查询Checkpoint 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 其中,“streamName”的配置值要与开通DIS通道中“通道名称”的值一致,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参见获取认证信息。
是 String 在统一身份认证服务(IAM)中创建委托的名称,DIS需要获取IAM委托信息去访问您指定的资源。创建委托的参数设置如下:- 委托类型:云服务- 云服务:DIS- 持续时间:永久- “所属区域”为“全局服务”,“项目”为“对象存储服务”对应的“策略”包含“Tenant
your-endpoint**', // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以ak和sk保存在环境变量中来实现身份验证为例,
变更分区数量 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 其中,“streamName”的配置值要与开通DIS通道中“通道名称”的值一致,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参见获取认证信息。 1
在搜索框搜索maven,找到maven的配置,请确保Maven home directory(Maven安装路径),User settings file (settings.xml文件位置)和Local repository(本地仓库地址)配置正确。 若不正确,请修改,否则步骤 2中安装的sdk无法找到。
步骤2:准备DIS应用开发环境 用户开发DIS应用程序前,首先需要安装和配置应用开发环境。获取SDK和样例工程,并导入到用户的开发环境中。 前提条件 JDK(1.8版本或以上版本)工具已安装成功。 Eclipse工具已安装成功。 操作步骤 Eclipse中配置JDK。 打开Eclipse工具,选择“Window
ListTransferTasksRquest(); // 指定待查询的通道名称 request.setStreamName(streamName); 配置“ListTransferTaskRequest”对象之后,通过调用listTransferTask的方法查询指定通道的转储任务列表。 1