产品优势

  • 高效传输

    实时收集各种数据。支持百万并发连接,数据请求毫秒级响应。单分区支持最高每日百GB级别的写入量。轻松实现传输通道规格扩容

    实时收集各种数据。支持百万并发连接,数据请求毫秒级响应。单分区支持最高每日百GB级别的写入量。轻松实现传输通道规格扩容

  • 简单易用

    服务秒级开通。用户配置SDK/Agent实现免编程数据采集,快速实现数据采集、传输

    服务秒级开通。用户配置SDK/Agent实现免编程数据采集,快速实现数据采集、传输

  • 安全可靠

    HTTPS加密传输。租户间资源及操作隔离,实现租户访问权限控制,保护系统和用户的隐私及数据安全。数据跨AZ存储,服务可用性99.9%

    HTTPS加密传输。租户间资源及操作隔离,实现租户访问权限控制,保护系统和用户的隐私及数据安全。数据跨AZ存储,服务可用性99.9%

  • 无忧运维

    具有完备的运维体系,托管运维,用户只需要聚焦数据价值。相比用户自建数据采集/传输系统(kafka/flume等),成本降低5倍

    具有完备的运维体系,托管运维,用户只需要聚焦数据价值。相比用户自建数据采集/传输系统(kafka/flume等),成本降低5倍

应用场景

实时数据处理


实时收集数据,缓存在通道中,分析平台实时或周期读取通道中的数据分析后将结果应用到业务系统,例如对实时采集城市各交通枢纽的车辆通行数据,基于分析可实现对停车场开放时长和交通资源的调配

优势

  • 永久在线

    业务系统随时随地发送数据到DIS

  • 高并发、低延时

    支持百万并发消息,端到端时延低至毫秒级

  • 生态完善

    支持对接各分析平台,数据传输、计算一站式处理

实时文件传输


实时检测客户应用系统中产生的日志文件,并采集上传到云上,进行离线分析、存储查询及机器学习,可应用于日志分析、用户画像、营销推荐等场景。

优势

  • 自动捕获增量数据

    支持自动采集文件中的增量数据或新增文件

  • 简单易用

    提供不同平台Agent,简单配置,即可实现数据采集

  • 安全可靠

    传输过程使用https加密,保障数据安全传输

数据接入备份


将大量滚动日志文件传输到云端做备份,用于数据丢失或异常后的恢复和故障分析。同时大量小文本文件可合并转储为大文件,提高数据处理性能

优势

  • 多种数据源支持

    对接kafka、flume等开源系统,易于集成

  • 数据传输高效

    通道入口带宽可调整,传输能力有保障

  • 海量小文件传输

    小文件搬迁上云,原文件转储到对象存储

建议搭配使用

功能描述

  • 数据采集

    RestAPI、SDK、Agent对接多种数据源,线上线下数据实时采集

    RestAPI、SDK、Agent对接多种数据源,线上线下数据实时采集

  • 数据传输

    实时数据高并发、低延时、高可靠传输

    实时数据高并发、低延时、高可靠传输

  • 数据流动

    提供多种connector,对接云上数据存储、计算、分析等多种服务,实现用户数据自由流动

    提供多种connector,对接云上数据存储、计算、分析等多种服务,实现用户数据自由流动

  • 支持多种数据源
    支持多种数据源

    DIS支持从用户应用系统、kafka系统、Flume系统做实时数据采集

    DIS支持从用户应用系统、kafka系统、Flume系统做实时数据采集

  • 多种数据接入方式
    多种数据接入方式

    提供RestAPI、SDK、Agent等多种数据接入方式,用户只需简单配置即可实现实时数据采集与传输

    提供RestAPI、SDK、Agent等多种数据接入方式,用户只需简单配置即可实现实时数据采集与传输

  • DIS提供百万连接并发,单数据流最高支持每日TB级别的数据量写入,每个分区(partition)支持最高每日百GB级别的写入量

    DIS提供百万连接并发,单数据流最高支持每日TB级别的数据量写入,每个分区(partition)支持最高每日百GB级别的写入量

  • 每个数据流的吞吐能力可以通过动态增加partition进行扩展

    每个数据流的吞吐能力可以通过动态增加partition进行扩展

  • DIS与华为云上的OBS(对象存储服务)、MRS(MapReduce服务)、DWS(数据仓库服务)、CloudTable(表格存储服务)、DLI(数据湖探索)、CS(实时流计算服务)、FunctionGraph(函数工作流)等服务集成,用户通过简单配置即可完成数据转储、计算、分析等功能

    DIS与华为云上的OBS(对象存储服务)、MRS(MapReduce服务)、DWS(数据仓库服务)、CloudTable(表格存储服务)、DLI(数据湖探索)、CS(实时流计算服务)、FunctionGraph(函数工作流)等服务集成,用户通过简单配置即可完成数据转储、计算、分析等功能

  • 数据处理

    预置数据抽取、汇聚、格式转换等Connector(处理算子),对用户输入数据做预处理

    预置数据抽取、汇聚、格式转换等Connector(处理算子),对用户输入数据做预处理

  • 数据缓存

    实时数据缓存1-3天,保证实时数据消费可靠性

    实时数据缓存1-3天,保证实时数据消费可靠性

  • DIS预置Connector对接入数据做初步处理,提供CSV/Json到Parquet/CarbonData等格式的转换,提升用户数据质量

    DIS预置Connector对接入数据做初步处理,提供CSV/Json到Parquet/CarbonData等格式的转换,提升用户数据质量