检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DIS Sink用于将Flume Channel中的数据上传到DIS服务。 DIS Flume Plugin安装流程如图1所示。 图1 DIS Flume Plugin安装流程 父主题： 使用DIS Flume Plugin上传与下载数据
可能原因：DIS网关将服务器IP加入黑名单，导致请求被拦截。列入黑名单通常由于多次使用错误的配置重复调用DIS接口导致。 处理方法：停止Agent进程，修改配置DIS Agent中“agent.yml”配置文件的配置。停止Agent30分钟后重启Agent。 UnknownHttpStatusCodeException:
16 17 18 19 20 21 //需配置转储任务的全量参数，不支持更新单个参数 UpdateTransferTaskRequest request = new UpdateTransferTaskRequest(); // 配置待更新的转储任务所属通道的名称 request
setStreamName(streamName); // 指定待查询的转储任务名称 request.setTransferTaskName(taskName); 配置“DescribeTransferTaskRequest”对象之后，通过调用describeTransferTask的方法查询指定的转储任务详情。
查询Checkpoint 参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。 其中，“streamName”的配置值要与开通DIS通道中“通道名称”的值一致，“endpoint”，“ak”，“sk”，“region”，“projectId”信息请参见获取认证信息。
your-endpoint**', // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全； // 本示例以ak和sk保存在环境变量中来实现身份验证为例，
数据表，且用户需具有该表的插入权限。 此配置项仅支持选择，不可手动输入。 配置此项必须已配置“DLI 数据库”。 偏移量 最新：最大偏移量，即获取最新的有效数据。 最早：最小偏移量，即读取最早的有效数据。 最新 数据转储周期 根据用户配置的时间，周期性的将数据导入目的地（OBS，
get("HUAWEICLOUD_SDK_SK"), projectid='', region='',bodySerializeType='protobuf') 配置参数如下： 1 streamname="dis-test1" #已存在的通道名 参照该文件中的test方法，bodySerializeT
通道的源数据类型：缺省值：BLOB createStreamRequest.setDataType(DataTypeEnum.BLOB.name()); 配置“CreateStreamRequest”对象之后，通过调用createStream的方法创建通道。 1 dic.createStream
变更分区数量 参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。 其中，“streamName”的配置值要与开通DIS通道中“通道名称”的值一致，“endpoint”，“ak”，“sk”，“region”，“projectId”信息请参见获取认证信息。 1
// 配置通道名称 String streamName = "myStream"; // 配置数据下载分区ID String partitionId = "0"; // 配置下载数据序列号 String startingSequenceNumber = "0"; // 配置下载数据方式
登录DIS控制台，等待2分钟后，查看表1中“streams”配置的通道的监控。如果显示有数据下载(蓝色线条)，表示DIS Source运行成功。 验证DIS Sink 使用PuTTY工具远程登录Flume所在服务器。 确认已配置好包含dis sink的配置文件 可基于Flume自带的flume-conf
Plugin上传与下载数据 DIS Logstash Plugin概述 安装DIS Logstash Plugin前准备 在线安装DIS Logstash Plugin 离线安装DIS Logstash Plugin 配置DIS Logstash Plugin 验证DIS Logstash
Streaming的相关环境 准备DIS应用开发环境 参考步骤1：开通DIS通道准备相应DIS环境。 安装Maven并配置本地仓库地址。 安装scala-sdk。 配置DIS Spark Streaming依赖 项目中可通过以下配置引入DIS Spark Streaming依赖： <dependency>
ListTransferTasksRquest(); // 指定待查询的通道名称 request.setStreamName(streamName); 配置“ListTransferTaskRequest”对象之后，通过调用listTransferTask的方法查询指定通道的转储任务列表。 1
Connector的相关环境 准备DIS应用开发环境 参考步骤1：开通DIS通道准备相应DIS环境。 安装Maven并配置本地仓库地址。 安装scala-sdk。 配置DIS Flink Connector依赖 项目中可通过以下配置引入DIS Flink Connector依赖： <dependency>
schema。 在右侧文本框中单击，可修改已生成的Avro schema。 仅当“Schema配置开关”配置为“开启”：时需要配置此参数。 企业项目 配置通道所属的企业项目。已开通企业项目管理服务的用户才可以配置该参数。默认值为default。 企业项目是一种云资源管理方式，企业项目管理服务提
使用Agent上传数据 DIS Agent概述 安装前准备 安装DIS Agent 配置DIS Agent 启动DIS Agent 验证DIS Agent 停止DIS Agent 父主题： 使用DIS
schema。 在右侧文本框中单击，可修改已生成的Avro schema。 仅当“Schema配置开关”配置为“开启”：时需要配置此参数。 企业项目 配置通道所属的企业项目。已开通企业项目管理服务的用户才可以配置该参数。默认值为default。 企业项目是一种云资源管理方式，企业项目管理服务提
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
