检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
础开发您的应用。示例工程代码路径:“\dis-sdk-demo\src\main\java\com\bigdata\dis\sdk\demo”。 示例代码 说明 ConsumerDemo.java 展示了下载数据的用法 ProducerDemo.java 展示了上传数据的用法 操作步骤
huaweicloud-sdk-dis-x.x.x.zip 打开DIS SDK的校验文件“huaweicloud-sdk-dis-x.x.x.zip.sha256sum”与上一步骤中获取的校验码进行对比。 一致,说明从获取的DIS SDK压缩包没被篡改。 不一致,说明DIS SDK压缩包被篡改,需要重新获取。
Adapter上传与下载数据。 2019-10-08 第二十三次正式发布: 优化Java和Python SDK。 2019-07-08 第二十次正式发布: 小文件功能下线,删除“创建源数据类型是FILE的通道”。 2019-07-03 第十九次正式发布: Java SDK不兼容原生Kafka客户端,删除“连接Kafka
ID/Secret Access Key)是用户调用接口的访问密钥。由用户在Iam中创建,可在页面下载生成。 检查项目ID ProjectID表示租户的资源,每个Region都有一个唯一的项目ID。可在“我的凭证 > API凭证”页面查看不同Region对应的项目ID值。 获取DIS Flume Plugin包
19 20 21 //需配置转储任务的全量参数,不支持更新单个参数 UpdateTransferTaskRequest request = new UpdateTransferTaskRequest(); // 配置待更新的转储任务所属通道的名称 request.setStreamName(streamName);
为DLI类型的数据表,且用户需具有该表的插入权限。 此配置项仅支持选择,不可手动输入。 配置此项必须已配置“DLI 数据库”。 偏移量 最新:最大偏移量,即获取最新的有效数据。 最早:最小偏移量,即读取最早的有效数据。 最新 数据转储周期 根据用户配置的时间,周期性的将数据导入目
使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 确认有通道用于数据上传且通道状态为“运行中”。 检查认证信息 检查AK/SK AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。 检查项目ID
Plugin是数据接入服务(DIS)为Logstash开发的插件,包含DIS Input与DIS Output。 DIS Input用于从DIS服务下载数据到Logstash。 DIS Output用于将Logstash中的数据上传到DIS服务。 DIS Logstash Plugin安装流程如图1所示。
Plugin是数据接入服务(DIS)为Flume开发的插件,包含DIS Source与DIS Sink。 DIS Source用于从DIS服务下载数据到Flume Channel。 DIS Sink用于将Flume Channel中的数据上传到DIS服务。 DIS Flume Plugin安装流程如图1所示。
在https://github.com/huaweicloud/huaweicloud-sdk-java-dis中下载DIS的Java SDK压缩包。 获取DIS SDK软件包及校验文件后,需要对软件包的完整性进行校验,参考如何校验软件包完整性?。 父主题: 相关资源
参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 使用DIS SDK创建DIS通道,需要指定APP名称。 1 2 // 待删除APP名称 String appName = "myApp"; 配置APP名称之后,通过调用deleteApp的方法删除APP。
什么是流控? 流控就是超过通道内分区的最大吞吐量开始限流,对资费和数据没有影响。 父主题: 一般性问题
open”弹出“Open File or Project”窗口。 选择本地(可通过环境变量去查找)python安装目录下的“\Lib\site-packages \dis_sdk_python”样例工程的存储位置。(安装之后若未找到dis_sdk_python,请尝试升级pip,或者安装huaweic
mrs_cluster_id 是 String 存储该通道数据的MRS集群ID。 mrs_hdfs_path 是 String 存储该通道数据的MRS集群的HDFS路径。 file_prefix 否 String 临时存储该通道数据的OBS桶下的自定义目录,多级目录可用“/”进行分隔,不可以“/”开头。
seqNumber="0" #序列号 metadata="" #用户消费程序端的元数据信息,元数据信息的最大长度为1000个字符 partitionId可通过查询通道详情获取,需要先传入当前设置的通道名称。 配置好以上参数,执行commitCheckpoint_sample.
参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 start_stream_name = "" #可设置为空,或是已存在的通道名 执行listStream_sample.py文件默认调用listStream_test方法,获取响应200查询成功。 通道列表的返回信息示例如下:
参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 2 3 streamname = "" #通道名称 appName="xx" # APP名称(APP是已存在状态) partitionId="shardId-0000000000" #分区的唯一标识符
项目ID可以通过调用查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。接口的认证鉴权请参见认证鉴权。 响应示例如下,其中projects下的“id”即为
默认配置为300秒。 - 数据临时桶 用户数据先临时存储在OBS桶中,再转储到指定的转储服务,转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中,转储完成后临时目录中的数据会被清除。 配置为空时,数据直接存储在OBS桶内。 - 源数据类