检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Streaming是数据接入服务（DIS）提供的一个sdk，支持将DIS作为数据源创建DStream对接SparkStreaming。 DIS Spark Streaming使用流程如图1所示。 图1 DIS Spark Streaming使用流程 父主题： 使用DIS Spark Streaming下载数据
拥有唯一安全凭证，并使用DIS资源。 根据企业用户的职能，设置不同的访问权限，以达到用户之间的权限隔离。 将DIS资源委托给更专业、高效的其他华为云账号或者云服务，这些账号或者云服务可以根据权限进行代运维。 如果华为云账号已经能满足您的要求，不需要创建独立的IAM用户，您可以跳过
删除通道 参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。 使用DIS SDK删除指定的DIS通道。 1 2 3 4 //待删除的通道名称 String streamName = "myStream"; DeleteStreamRequest deleteStreamRequest
1" #已存在的通道名 参照该文件中的test方法，bodySerializeType="protobuf"选取protobuf格式上传。 protobuf_putRecords_sample.py文件中的protobuf_putRecords_test方法中的records为需要上传的数据内容，数据上传格式如下：
// 通道的分片数量 createStreamRequest.setPartitionCount(3); // 通道数据的保留时长: 单位小时，N*24，N的取值为1~7的整数 createStreamRequest.setDataDuration(24); // 通道的源数据类型：缺省值：BLOB
安装DIS Agent 前提条件 已安装PuTTY工具。 Linux服务器上安装DIS Agent 使用PuTTY工具登录日志所在服务器，即检查依赖的服务器。 将获取DIS Agent包中获取的“dis-agent-X.X.X.zip”安装包上传到“/opt”文件夹中。 解压“dis-agent-X
已从Eclipse官网下载并安装Eclipse IDE for Java Developers最新版本。 已在Eclipse中配置好JDK。 父主题： 使用SDK（Java）
创建通道 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 根据stream_type选取方法，参照创建通道配置方法中的参数值。 stream_type=“” #无转储通道 配置createstream_sample.py中Dump_switch方法参数值。 stream_type=“FILE”
使用DIS Flume Plugin上传与下载数据 DIS Flume Plugin概述 安装DIS Flume Plugin前准备 安装Plugin 配置Plugin 验证Plugin 卸载Plugin(可选) 父主题： 使用DIS
删除转储任务 参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。 使用DIS SDK删除指定的转储任务。 1 2 3 4 5 6 7 DeleteTransferTaskRequest request = new DeleteTransferTaskRequest();
参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。 使用DIS SDK创建DIS通道，需要指定APP名称。 1 2 // 待删除APP名称 String appName = "myApp"; 配置APP名称之后，通过调用deleteApp的方法删除APP。
Adapter概述 dis-kafka-adapter是数据接入服务（DIS）提供的一个sdk，支持原本使用Kafka Client上传数据的用户，以类似原来的操作将数据上传到DIS。 目前只支持Java版本。 父主题： 使用Kafka Adapter上传与下载数据
参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。 使用DIS SDK创建Checkpoint，需要指定通道名称、APP名称、分区编号、序列号以及Checkpoint类型。 其中，“streamName”的配置值要与开通DIS通道中“Stream Name”的值一致。
重启弹性云服务器后都重新配置DNS，可以按如下步骤修改虚拟私有云的子网信息，将DNS服务器地址添加到弹性云服务器对应的子网中。 操作步骤 使用注册账户登录弹性云服务控制台，进入“云服务器控制台”页面。 在页面中单击用户将要使用的弹性云服务器，查看云服务器详情。 在云服务器详情页面
获取数据游标 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： partitionId="shardId-0000000000" streamname=”dis-test1“ #已存在的通道名 5种游标设置使用参考如下： # startSeq与AT_S
参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下： 1 2 3 streamname = "" #通道名称 appName="xx" # APP名称（APP是已存在状态） partitionId="shardId-0000000000" #分区的唯一标识符
卸载Plugin(可选) 操作步骤 使用PuTTY工具远程登录Flume所在服务器。 停止Flume程序。 进入DIS Flume Plugin插件所在的目录。 cd ${FLUME_HOME} cd dis-flume-plugin 卸载DIS Flume Plugin。 dos2unix
单次调用DIS数据发送接口时的数据集大小。 说明： “batchSize”表示一个事务的批量值(如1000)，而“sendingRecordSize”表示一个Rest请求的批量值(如250表示会发起四次请求)。当“batchSize”的数据全部发送成功之后，才会完成Flume的事务，否则事务不
Connector概述 DIS Flink Connector是数据接入服务（DIS）提供的一个sdk。 DIS Flink Connector支持将DIS作为数据源创建Stream对接Flink。 父主题： 使用DIS Flink Connector上传与下载数据
获取消息，但消息当中未实现 checksum(消息的CRC32校验值)、serializedKeySize(key序列化后的字节长度)、serializedValueSize(key序列化后的字节长度)。 void commitSync() 接口 支持 同步提交当前消费的offset void commitSync(final
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
