检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
memoryChannel agent.sinks = loggerSink # 定义 Source (使用dis source,从DIS读取数据) agent.sources.dissource.channels = memoryChannel agent.sources.dissource
LoggerFactory; import java.util.Collection; import java.util.List; import java.util.Map; import java.util.Properties; import java.util.regex.Pattern;
dis-java-X.X.X.zip”压缩包中“\dis-sdk-demo\src\main\java\com\bigdata\dis\sdk\demo”路径下“ProducerDemo.java”文件。 运行程序 程序开发完成后,右键选择“Run As > 1 Java App
dis-java-X.X.X.zip”压缩包中“\dis-sdk-demo\src\main\java\com\bigdata\dis\sdk\demo”路径下“ProducerDemo.java”文件。 运行程序 程序开发完成后,右键选择“Run As > 1 Java App
v2.*; import com.huaweicloud.sdk.dis.v2.model.*; import java.util.List; import java.util.ArrayList; public class ListResourcesByTagsSolution
须知: Windows平台下OBS若按照文本格式读取数据文件,遇到0x1A会作为EOF符号结束数据读入造成解析错误,这是Windows平台的实现约束。由于OBS不支持BINARY形式读取,可将相应数据文件交由Linux平台下的OBS读取。 说明: 导入非法字符容错规则如下: (1)对于'\0',容错后转换为空格;
Python:准备环境~~获取数据游标 介绍使用DIS SDK进行的常用操作(匹配python)。 Java:准备环境~~变更分区数量 介绍使用DIS SDK进行的常用操作(匹配java)。 DIS服务端错误码 介绍使用DIS SDK过程中遇到异常时的响应信息。 父主题: 简介
v2.*; import com.huaweicloud.sdk.dis.v2.model.*; import java.util.List; import java.util.ArrayList; public class BatchStartTransferTaskSolution
v2.*; import com.huaweicloud.sdk.dis.v2.model.*; import java.util.List; import java.util.ArrayList; public class BatchStopTransferTaskSolution
使用SDK 使用SDK(Java) 使用Kafka Adapter上传与下载数据 使用SDK(Python)
v2.*; import com.huaweicloud.sdk.dis.v2.model.*; import java.util.List; import java.util.ArrayList; public class BatchDeleteTagsSolution {
LoggerFactory; import java.util.Properties; import java.util.concurrent.CountDownLatch; import java.util.concurrent.Future; import java.util.concurrent
v2.*; import com.huaweicloud.sdk.dis.v2.model.*; import java.util.List; import java.util.ArrayList; public class BatchCreateTagsSolution {
LoggerFactory; import java.util.Properties; import java.util.concurrent.CountDownLatch; import java.util.concurrent.Future; import java.util.concurrent
此配置项仅支持选择,不可手动输入。 配置此项必须已配置“DLI 数据库”。 偏移量 最新:最大偏移量,即获取最新的有效数据。 最早:最小偏移量,即读取最早的有效数据。 最新 数据转储周期 根据用户配置的时间,周期性的将数据导入目的地(OBS,MRS,DLI,DWS),若某个时间段内无数据,则此时间段不会生成打包文件。
仅当创建IAM用户时的访问方式勾选“编程访问”后,此IAM用户才能通过认证鉴权,从而使用API、SDK等方式访问DataArts Studio。 Token认证 Token的有效期为24小时,需要使用一个Token鉴权时,可以先缓存起来,避免频繁调用。 使用Token前请确保Token离过期有足够的时间,防止调用AP
2019-10-08 第二十三次正式发布: 优化Java和Python SDK。 2019-07-08 第二十次正式发布: 小文件功能下线,删除“创建源数据类型是FILE的通道”。 2019-07-03 第十九次正式发布: Java SDK不兼容原生Kafka客户端,删除“连接Kafka
consumer_strategy 否 String 偏移量。 LATEST:最大偏移量,即获取最新的数据。 TRIM_HORIZON:最小偏移量,即读取最早的数据。 缺省值:LATEST 枚举值: LATEST TRIM_HORIZON file_prefix 否 String 在OBS中
ProjectID 通道名称 https://dis.${region}.mycloud.com ${region} YOU_AK YOU_SK YOU_PROJECTID YOU_STREAM_NAME 参数顺序与含义在示例代码中有,可以参考。 // DIS终端节点,如 https://dis
consumer_strategy String 偏移量。 LATEST:最大偏移量,即获取最新的数据。 TRIM_HORIZON:最小偏移量,即读取最早的数据。 缺省值:LATEST 枚举值: LATEST TRIM_HORIZON file_prefix String 在OBS中存储