检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
stream 是 指定在DIS服务上创建的通道名称。 与DIS控制台“购买接入通道”时配置的“通道名称”取值一致。 ak 是 用户的Access Key。 获取方式请参见检查认证信息。 请根据实际情况配置 sk 是 用户的Secret Key。 获取方式请参见检查认证信息。 请根据实际情况配置
setTransferTaskName(taskName); // 转储至对象存储服务(简称OBS):OBS桶名和子文件夹名,通过OBS控制台或客户端创建桶和文件夹 descriptor.setObsBucketPath("obs-dis1"); descriptor.setFilePrefix("transfertask");
2021-09-15 第三十四次正式发布 下线CloudTable转储任务。 2021-01-08 第三十三次正式发布 新增应用示例场景,规范化发布API说明和错误码。 2020-07-03 第三十二次正式发布 新增错误码,修改错误码说明。 2020-05-09 第三十一次正式发布。 支持按照App查看监控信息,修改下载数据。
Key的记录会分配到同一个分区。此配置项可设置每条记录的PartitionKey值,取值如下: RANDOM_INT:PartitionKey的值为随机数字的字符串,记录均匀分布在每个分区。 FILE_NAME:PartitionKey的值为文件名称字符串,记录分布在特定的一个分区中。
// // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,或者使用交互方式式传参,确保安全; // 本示例以交互式方式。 System.out.print("Enter
使用前必读 概述 调用说明 终端节点 约束与限制 基本概念
DIS有哪些特点和优势? DIS有哪些模块及各模块功能? 如何开通DIS通道? 数据存储在DIS和转储其他资源有什么区别? 如何校验软件包完整性? DIS如何发送和接收数据? 什么是流控? DIS对接EPS鉴权后,进入通道列表页面看不见之前创建的通道?
JREs”配置JDK环境变量,显示如图2所示。 右侧窗口中显示已配置好的JDK变量,执行1.c.i完成JDK变量配置。 如需配置多个不同的变量对应不同版本的JDK,请执行1.c.ii~1.c.iv。 图2 Installed JREs 勾选已安装的JDK,单击“OK”。 单击“Add”按钮,弹出“Add
JREs”配置JDK环境变量,显示如图2所示。 右侧窗口中显示已配置好的JDK变量,执行1.c.i完成JDK变量配置。 如需配置多个不同的变量对应不同版本的JDK,请执行1.c.ii~1.c.iv。 图2 Installed JREs 勾选已安装的JDK,单击“OK”。 单击“Add”按钮,弹出“Add
SDK开发指南指导您如何安装和配置开发环境、如何通过调用DIS SDK提供的接口函数进行二次开发。 章节 内容 DIS SDK能做什么 内容导航 简要介绍DIS的概念和DIS SDK的概念。 SDK下载 兼容性 如何校验软件包完整性? 介绍使用DIS SDK进行二次开发过程中涉及到的资源信息。
startingOffsets为读取DIS数据的起始位置,LATEST表示从最新的数据开始读取;EARLIEST表示从最旧的数据开始读取;如果要指定每个分区的精确起始位置,则可以写为json字符串,例如{"0":23,"1":-1,"2":-2}表示第0分区起始位置是23,第1分区从最新数据的位置开始,第2分
其中,结束时间不能晚于当前的系统时间。 开始时间与结束时间的差值不超过72h。 分区监控 分区编号 流分区编号,默认从0开始。取值方式:从下拉框选择。 该分区的总输入/输出流量(KB/秒) 用户指定时间范围内,指定分区的输入/输出流量。单位:KB/s。 该分区的总输入/输出记录数(个/秒)
数据临时桶 用户数据先临时存储在OBS桶中,再转储到指定的转储服务,转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中,转储完成后临时目录中的数据会被清除。 配置为空时,数据直接存储在OBS桶内。 - 源数据类型JSON/CSV==>转储文件格式Parquet
查询转储详情 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 2 streamname="dis-test1"#已存在的通道名 task_name="test_1" #查询该通道下的xx转储任务 配置好以上参数后,执行describe_dump_task_sample
一致。 ak 是 用户的Access Key。 获取方式请参见检查认证信息。 请根据实际情况配置 sk 是 用户的Secret Key。 获取方式请参见检查认证信息。 请根据实际情况配置 region 是 将数据上传到指定Region的DIS服务。 请根据实际情况配置 projectId
面查看通道关联的企业项目。用户只能查询到有访问权限的项目下的通道资源。 在通道管理页面的列表中,查看通道所属的企业项目。 图1 查看企业项目 在通道列表中,单击通道名称,进入通道“基本信息”页面,可以查看与通道关联的企业项目。单击企业项目的名称,可以跳转到企业管理的控制台页面对该企业项目进行查看或编辑。
DIS为临时存储器,存储在DIS中的数据最长保留时间为3中配置的“生命周期”的值。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X.zip”压缩包中“\dis-sdk-demo\src\main\java\com\b
DIS为临时存储器,存储在DIS中的数据最长保留时间为步骤 3中配置的“生命周期”的值。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X.zip”压缩包中“\dis-sdk-demo\src\main\java\co