检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
16 17 18 19 20 21 //需配置转储任务的全量参数，不支持更新单个参数 UpdateTransferTaskRequest request = new UpdateTransferTaskRequest(); // 配置待更新的转储任务所属通道的名称 request
Intellij IDEA中导入Demo工程 以IntelliJ IDEA社区版为例，说明如何编写Flink作业。请先确保在IDEA上已经正确配置好。 JDK 1.8+ Scala-sdk-2.11 Maven 3.3.* 打开IntelliJIDEA，选择“File > New >
持续查询文本文件，实时收集增量数据按分隔符解析并上传到DIS通道(通道源数据类型为BLOB/JSON/CSV)。 DIS Agent安装流程如图1所示。 图1 安装流程 父主题： 使用Agent上传数据
进入DIS Agent安装目录。其中“x.x.x”表示版本号。 cd /opt/dis-agent-x.x.x/ 启动DIS Agent。 bash bin/start-dis-agent.sh 如果需要启动多个DIS Agent进程，则新启的Agent进程需要通过-c指定配置文件以及-n参数指定名称。
可能原因：DIS网关将服务器IP加入黑名单，导致请求被拦截。列入黑名单通常由于多次使用错误的配置重复调用DIS接口导致。 处理方法：停止Agent进程，修改配置DIS Agent中“agent.yml”配置文件的配置。停止Agent30分钟后重启Agent。 UnknownHttpStatusCodeException:
如何专线接入DIS 参见自动开通云专线开通云专线，然后使用开通专线的云账号访问虚拟私有云VPC。 选择“VPC终端节点 > 终端节点”，单击“购买终端节点”。 “服务类别”选择“云服务”，并在服务中选择DIS服务的终端节点，例如华东-上海二为com.myhuaweicloud.cn-east-2
setStreamName(streamName); // 指定待查询的转储任务名称 request.setTransferTaskName(taskName); 配置“DescribeTransferTaskRequest”对象之后，通过调用describeTransferTask的方法查询指定的转储任务详情。
gstash。 DIS Output用于将Logstash中的数据上传到DIS服务。 DIS Logstash Plugin安装流程如图1所示。 图1 安装流程图 父主题： 使用DIS Logstash Plugin上传与下载数据
DIS Sink用于将Flume Channel中的数据上传到DIS服务。 DIS Flume Plugin安装流程如图1所示。 图1 DIS Flume Plugin安装流程 父主题： 使用DIS Flume Plugin上传与下载数据
get("HUAWEICLOUD_SDK_SK"), projectid='', region='',bodySerializeType='protobuf') 配置参数如下： 1 streamname="dis-test1" #已存在的通道名 参照该文件中的test方法，bodySerializeT
// 配置通道名称 String streamName = "myStream"; // 配置数据下载分区ID String partitionId = "0"; // 配置下载数据序列号 String startingSequenceNumber = "0"; // 配置下载数据方式
Streaming的相关环境 准备DIS应用开发环境 参考步骤1：开通DIS通道准备相应DIS环境。 安装Maven并配置本地仓库地址。 安装scala-sdk。 配置DIS Spark Streaming依赖 项目中可通过以下配置引入DIS Spark Streaming依赖： <dependency>
通道的源数据类型：缺省值：BLOB createStreamRequest.setDataType(DataTypeEnum.BLOB.name()); 配置“CreateStreamRequest”对象之后，通过调用createStream的方法创建通道。 1 dic.createStream
Plugin上传与下载数据 DIS Logstash Plugin概述 安装DIS Logstash Plugin前准备 在线安装DIS Logstash Plugin 离线安装DIS Logstash Plugin 配置DIS Logstash Plugin 验证DIS Logstash
数据表，且用户需具有该表的插入权限。 此配置项仅支持选择，不可手动输入。 配置此项必须已配置“DLI 数据库”。 偏移量 最新：最大偏移量，即获取最新的有效数据。 最早：最小偏移量，即读取最早的有效数据。 最新 数据转储周期 根据用户配置的时间，周期性的将数据导入目的地（OBS，
在搜索框搜索maven，找到maven的配置，请确保Maven home directory(Maven安装路径)，User settings file (settings.xml文件位置)和Local repository(本地仓库地址)配置正确。 若不正确，请修改，否则步骤 2中安装的sdk无法找到。
查询Checkpoint 参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。 其中，“streamName”的配置值要与开通DIS通道中“通道名称”的值一致，“endpoint”，“ak”，“sk”，“region”，“projectId”信息请参见获取认证信息。
变更分区数量 参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。 其中，“streamName”的配置值要与开通DIS通道中“通道名称”的值一致，“endpoint”，“ak”，“sk”，“region”，“projectId”信息请参见获取认证信息。 1
your-endpoint**', // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全； // 本示例以ak和sk保存在环境变量中来实现身份验证为例，
登录DIS控制台，等待2分钟后，查看表1中“streams”配置的通道的监控。如果显示有数据下载(蓝色线条)，表示DIS Source运行成功。 验证DIS Sink 使用PuTTY工具远程登录Flume所在服务器。 确认已配置好包含dis sink的配置文件 可基于Flume自带的flume-conf
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
