检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
时可从数十万种数据源（如日志和定位追踪事件、网站点击流、社交媒体源等）中连续捕获、传送和存储数TB数据。 云服务实现了在多地域部署基础设施，具备高度的可扩展性和可靠性，用户可根据自身需要指定地域使用DIS服务，由此获得更快的访问速度和实惠的服务价格。 DIS对数据传输所需要的基础
据流管道，主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源（如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等）中连续捕获、传送和存储数TB数据。 数据流向 DIS实时从多种数据源采集数据。 DIS连续传输数据，自动将数据传输至MR
普通通道单分区容量：最高发送速度可达1MB/秒或1000条记录/秒（达到任意一种速度上限才会被限流），最高提取速度可达 2MB/秒，单次请求的记录总大小不能超过1MB（不包含partitionKey数据大小）。 高级通道单分区容量：最高发送速度可达 5MB/秒或2000条记录
可选：在DIS管理页面自动创建名称为“dis_admin_agency”的IAM委托，默认采用此委托，用于授权访问。如未创建过IAM委托，请用主账户登录DIS控制台并创建通道，点击“添加转储任务”，前往授权。 descriptor.setAgencyName("dis_admin_agency"); // 可选，转
通道类型 普通通道单分区容量：最高发送速度可达1MB/秒或1000条记录/秒（达到任意一种速度上限才会被限流），最高提取速度可达 2MB/秒，单次请求的记录总大小不能超过1MB（不包含partitionKey数据大小）。 高级通道单分区容量：最高发送速度可达 5MB/秒或2000条记录
通道类型：普通和高级。 普通通道单分区容量：最高发送速度可达1MB/秒或1000条记录/秒（达到任意一种速度上限才会被限流），最高提取速度可达 2MB/秒，单次请求的记录总大小不能超过1MB（不包含partitionKey数据大小）。 高级通道单分区容量：最高发送速度可达 5MB/秒或2000条记录
compress.type 否 开启压缩时选择的数据压缩格式，目前支持的压缩格式如下： lz4：综合来看效率最高的压缩算法,更加侧重压缩解压速度,压缩比并不是第一。 zstd：一种新的无损压缩算法，旨在提供快速压缩，并实现高压缩比。 lz4 PROXY_HOST 否 配置代理IP，请求走代理服务器的需要配置。
通道类型 普通通道单分区容量：最高发送速度可达1MB/秒或1000条记录/秒（达到任意一种速度上限才会被限流），最高提取速度可达 2MB/秒，单次请求的记录总大小不能超过1MB（不包含partitionKey数据大小）。 高级通道单分区容量：最高发送速度可达 5MB/秒或2000条记录
通道类型 普通通道单分区容量：最高发送速度可达1MB/秒或1000条记录/秒（达到任意一种速度上限才会被限流），最高提取速度可达 2MB/秒，单次请求的记录总大小不能超过1MB（不包含partitionKey数据大小）。 高级通道单分区容量：最高发送速度可达 5MB/秒或2000条记录
compress.type 否 开启压缩时选择的数据压缩格式，目前支持的压缩格式如下： lz4：综合来看效率最高的压缩算法,更加侧重压缩解压速度,压缩比并不是第一。 zstd：一种新的无损压缩算法，旨在提供快速压缩，并实现高压缩比。 lz4 PROXY_HOST 否 配置代理IP，请求走代理服务器的需要配置。
据流管道，主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源（如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等）中连续捕获、传送和存储数TB数据。 数据流向 DIS实时从多种数据源采集数据。 DIS连续传输数据，自动将数据传输至MR
务吞吐的需求选择通道的分区数。 stream_type：通道类型，“COMMON”表示普通分区，单分区支持最大1MB/s的写入速度和2MB/s的读取速度。 data_duration：通道生命周期，即通道分区中数据的保留时长。 请求响应成功后，返回201 Created，表示通道创建成功。
数据压缩类型，当前支持的压缩算法： lz4：综合来看效率最高的压缩算法,更加侧重压缩解压速度,压缩比并不是第一。 snappy：其目标不是最大限度压缩或者兼容其他压缩格式，而是旨在提供高速压缩速度和合理的压缩率。 zstd：一种新的无损压缩算法，旨在提供快速压缩，并实现高压缩比。 lz4
data_schema String 用于描述用户JSON、CSV格式的源数据结构，采用Avro Schema的语法描述。Avro介绍您也可以点击这里查看。 compression_format String 数据的压缩类型，目前支持： snappy gzip zip 默认不压缩。 枚举值：
如何选择区域？ 选择区域时，您需要考虑以下几个因素： 地理位置 一般情况下，建议就近选择靠近您或者您的目标用户的区域，这样可以减少网络时延，提高访问速度。不过，在基础设施、BGP网络品质、资源的操作与配置等方面，中国大陆各个区域间区别不大，如果您或者您的目标用户在中国大陆，可以不用考虑不同区域造成的网络时延问题。
Source作业 实际场景中，Flink Streaming作业需要提交在Flink集群上运行，但本次验证只介绍在本地IDE上测试，目的是了解sdk基本使用方法。测试完成后用户可自行创建集（如MRS集群）并提交作业验证。 使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域和项目。
batch_sort：表示在一个node下，内存排序后直接生成CarbonData文件，不再进行node下的全排序；使用该配置，可以提升加载速度，但查询性能不如LOCAL_SORT； - 父主题： 管理转储任务
batch_sort：表示在一个node下，内存排序后直接生成CarbonData文件，不再进行node下的全排序；使用该配置，可以提升加载速度，但查询性能不如LOCAL_SORT； - 父主题： 管理转储任务
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
