检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
// 配置数据下载分区ID String partitionId = "shardId-0000000000"; // 配置下载数据序列号 String startingSequenceNumber = "0"; // 配置下载数据方式 // AT_SEQUENCE_NUMBER:
下载流式数据 Json格式下载 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 2 3 streamname = "" #通道名称 startSeq='0’ #序列号 partitionId="shardId-0000000000"
准备环境 已从Oracle官网下载并安装JDK1.8或以上版本，配置好JAVA环境变量。 已从Eclipse官网下载并安装Eclipse IDE for Java Developers最新版本。 已在Eclipse中配置好JDK。 父主题： 使用SDK（Java）
SDK下载 在https://github.com/huaweicloud/huaweicloud-sdk-java-dis中下载DIS的Java SDK压缩包。 获取DIS SDK软件包及校验文件后，需要对软件包的完整性进行校验，参考如何校验软件包完整性？。 父主题： 相关资源
数据下载的消费模式 同Kafka类似，当前dis kafka adapter支持三种消费模式。 assign模式 由用户手动指定consumer实例消费哪些具体分区，此时不会拥有group management机制，也就是当group内消费者数量变化或者通道扩缩容的时候不会有重新分配分区的行为发生。代码样例如下所示：
下载数据之消费位移 消费位移确认有自动提交与手动提交两种策略，在创建DISKafkaConsumer对象时，通过参数enable.auto.commit设定，true表示自动提交（默认）。 自动提交策略由消费者协调器（Coordinator）每隔${auto.commit.interval
使用Kafka Adapter上传与下载数据 Kafka Adapter概述 准备环境 上传数据 数据下载的消费模式 下载数据之消费位移 与原生KafkaConsumer接口适配说明 父主题： 使用SDK
ey参数，则下载数据时可返回此参数。如果上传数据时，未传partition_key参数，而是传入partition_id，则不返回partition_key。 sequence_number String 该条数据的序列号。 data String 下载的数据。 下载的数据为序列
18</version> </dependency> 使用DIS样例工程 在https://dis-publish.obs-website.cn-north-1.myhuaweicloud.com/中下载DIS的kafka-adapter压缩包。 此zip包中有两个目录。 huaweicloud-dis-kafka-adapter-X
编写SparkStreaming作业 以IntelliJ IDEA社区版为例，说明如何编写SparkStreaming作业。请先确保在IDEA上已经正确配置好 JDK 1.8+ Scala-sdk-2.11 Maven 3.3.* 打开IntelliJIDEA，选择“File > Open”。选择解压至
Intellij IDEA中导入Demo工程 以IntelliJ IDEA社区版为例，说明如何编写Flink作业。请先确保在IDEA上已经正确配置好。 JDK 1.8+ Scala-sdk-2.11 Maven 3.3.* 打开IntelliJIDEA，选择“File > New > > Project
如果在消费者组中没有发现前一个偏移量，就向消费者抛出一个异常; 其他参数 参数 不支持 - 父主题： 使用Kafka Adapter上传与下载数据
已安装1.8.0及以上版本的Java。 请参见JRE地址下载JRE。 Linux服务器安装请参考如下步骤： 使用root用户，进入“/opt”目录。 cd /opt 创建目录“jre”。 mkdir -p jre 设置JDK安装目录的权限。 chmod -R 640 jre/ 将
Kafka默认设置为0，DIS默认设置为8。 出现网络/服务端异常的重试次数，尽量保证数据上传成功 其他参数 参数 不支持 - 父主题： 使用Kafka Adapter上传与下载数据
Client上传数据的用户，以类似原来的操作将数据上传到DIS。 目前只支持Java版本。 父主题： 使用Kafka Adapter上传与下载数据
兼容性 支持的JDK版本：1.8.0及以上版本。 支持的Python版本：2.7及以上版本。 父主题： 相关资源
下载数据之消费位移 消费位移确认有自动提交与手动提交两种策略，在创建DISKafkaConsumer对象时，通过参数enable.auto.commit设定，true表示自动提交（默认）。 自动提交策略由消费者协调器（Coordinator）每隔${auto.commit.interval
使用DIS Spark Streaming下载数据 DIS Spark Streaming概述 准备DIS Spark Streaming的相关环境 自定义SparkStreaming作业 父主题： 使用DIS
使用DIS Flink Connector上传与下载数据 DIS Flink Connector概述 准备DIS Flink Connector的相关环境 自定义Flink Streaming作业 父主题： 使用DIS
使用Kafka Adapter上传与下载数据 Kafka Adapter概述 准备环境 上传数据 数据下载的消费模式 下载数据之消费位移 与原生KafkaConsumer接口适配说明 父主题： 使用DIS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
