检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
网名称/ID”，进入虚拟私有云子网页面。 单击“网关和DNS”中“DNS服务器地址”后的“修改”按钮，弹出“修改DNS服务器地址”窗口。 将DNS服务器地址修改为所需的DNS服务器地址，然后单击“确定”，保存DNS服务器地址的修改。 重启弹性云服务器，查看“/etc/resolv
数据压缩类型，当前支持的压缩算法： lz4：综合来看效率最高的压缩算法,更加侧重压缩解压速度,压缩比并不是第一。 snappy：其目标不是最大限度压缩或者兼容其他压缩格式，而是旨在提供高速压缩速度和合理的压缩率。 zstd：一种新的无损压缩算法，旨在提供快速压缩，并实现高压缩比。 lz4
普通通道单分区容量：最高发送速度可达1MB/秒或1000条记录/秒（达到任意一种速度上限才会被限流），最高提取速度可达 2MB/秒，单次请求的记录总大小不能超过1MB（不包含partitionKey数据大小）。 高级通道单分区容量：最高发送速度可达 5MB/秒或2000条记录
配置是否可以连接公网。 查看Agent是否上传日志。 “agent.yml”中配置的监控目录下有匹配的文件，日志中会输出类似如下日志，表示解析了[N1行(B1字节数)/N2文件(B2字节数)]，成功上传了[N3行/N4文件]。 Agent: Progress: [N1 records
状态码 状态码是每次API请求响应的HTTPS状态码，表示本次HTTPS请求服务器返回的状态。 状态码 编码 状态说明 100 Continue 继续请求。 这个临时响应用来通知客户端，它的部分请求已经被服务器接收，且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。
安装前准备 检查依赖 服务器类型。 Linux x86-64（64位）服务器，常见的有EulerOS、Ubuntu、Debian、CentOS、OpenSUSE等。 Windows 7及以上版本。 已安装1.8.0及以上版本的Java。 请参见JRE地址下载JRE。 Linux服务器安装请参考如下步骤：
数据接入服务-成长地图 | 华为云 数据接入服务 数据接入服务（Data Ingestion Service,简称DIS）面向IoT、互联网等实时数据，提供高效采集、传输、分发能力，支持多种IoT协议，提供丰富的接口，帮助您快速构建实时数据应用。 产品介绍 图说DIS 图说ECS
使用DIS 检查与配置DNS信息 使用Agent上传数据 使用DIS Flume Plugin上传与下载数据 使用DIS Logstash Plugin上传与下载数据 使用Kafka Adapter上传与下载数据 使用DIS Spark Streaming下载数据 使用DIS Flink
监控起始位置。 END_OF_FILE：开始启动时不解析当前匹配的文件，而是从新增文件或新增的内容开始按分隔符解析并上传。 START_OF_FILE：将“filePattern”配置的所有匹配文件按照修改时间，从旧到新按分隔符解析并上传到DIS服务。 START_OF_FILE maxBufferAgeMillis
通道类型：普通和高级。 普通通道单分区容量：最高发送速度可达1MB/秒或1000条记录/秒（达到任意一种速度上限才会被限流），最高提取速度可达 2MB/秒，单次请求的记录总大小不能超过1MB（不包含partitionKey数据大小）。 高级通道单分区容量：最高发送速度可达 5MB/秒或2000条记录
Agent概述 DIS Agent是数据接入服务（DIS）提供的一个客户端程序，具有如下功能： 持续查询文本文件，实时收集增量数据按分隔符解析并上传到DIS通道(通道源数据类型为BLOB/JSON/CSV)。 DIS Agent安装流程如图1所示。 图1 安装流程 父主题： 使用Agent上传数据
监控起始位置。 END_OF_FILE：开始启动时不解析当前匹配的文件，而是从新增文件或新增的内容开始按分隔符解析并上传。 START_OF_FILE：将“filePattern”配置的所有匹配文件按照修改时间，从旧到新按分隔符解析并上传到DIS服务。 START_OF_FILE maxBufferAgeMillis
配额说明 创建通道应用的基础设施如下： 普通通道分区 高级通道分区 创建IoT实例应用的基础设施如下： 弹性云服务器 虚拟私有云VPC 弹性负载均衡ELB 弹性公网IP 其配额查看及修改请参见关于配额。
通道类型 普通通道单分区容量：最高发送速度可达1MB/秒或1000条记录/秒（达到任意一种速度上限才会被限流），最高提取速度可达 2MB/秒，单次请求的记录总大小不能超过1MB（不包含partitionKey数据大小）。 高级通道单分区容量：最高发送速度可达 5MB/秒或2000条记录
储数TB数据。 云服务实现了在多地域部署基础设施，具备高度的可扩展性和可靠性，用户可根据自身需要指定地域使用DIS服务，由此获得更快的访问速度和实惠的服务价格。 DIS对数据传输所需要的基础设置、存储、网络和配置进行管理。您无需为数据通道担心配置、部署、持续的硬件维护等。此外，D
通道类型 普通通道单分区容量：最高发送速度可达1MB/秒或1000条记录/秒（达到任意一种速度上限才会被限流），最高提取速度可达 2MB/秒，单次请求的记录总大小不能超过1MB（不包含partitionKey数据大小）。 高级通道单分区容量：最高发送速度可达 5MB/秒或2000条记录
通道类型 普通通道单分区容量：最高发送速度可达1MB/秒或1000条记录/秒（达到任意一种速度上限才会被限流），最高提取速度可达 2MB/秒，单次请求的记录总大小不能超过1MB（不包含partitionKey数据大小）。 高级通道单分区容量：最高发送速度可达 5MB/秒或2000条记录
务吞吐的需求选择通道的分区数。 stream_type：通道类型，“COMMON”表示普通分区，单分区支持最大1MB/s的写入速度和2MB/s的读取速度。 data_duration：通道生命周期，即通道分区中数据的保留时长。 请求响应成功后，返回201 Created，表示通道创建成功。
验证sparkStreaming作业 实际场景中，SparkStreming作业需要提交在Spark集群上运行，但本次验证只介绍在本地IDE上测试，目的是了解sdk基本使用方法。测试完成后用户可自行创建集群（如MRS集群）并提交作业验证。 使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域和项目。
Source作业 实际场景中，Flink Streaming作业需要提交在Flink集群上运行，但本次验证只介绍在本地IDE上测试，目的是了解sdk基本使用方法。测试完成后用户可自行创建集（如MRS集群）并提交作业验证。 使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域和项目。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
