数据湖探索 DLI-应用场景:大数据ETL处理

时间:2024-04-18 20:33:15

大数据ETL处理

  • 运营商大数据分析

    运营商数据体量在PB~EB级,其数据种类多,有结构化的基站信息数据,非结构化的消息通信数据,同时对数据的时效性有很高的要求, DLI 服务提供批处理、流处理等多模引擎,打破数据孤岛进行统一的数据分析。

  • 优势
    • 大数据ETL:具备TB~EB级运营商 数据治理 能力,能快速将海量运营商数据做ETL处理,为分布式批处理计算提供分布式数据集。
    • 高吞吐低时延:采用Apache Flink的Dataflow模型,高性能计算资源,从用户自建的Kafka、 MRS -Kafka、DMS-Kafka消费数据,单CU每秒吞吐1千~2万条消息。
    • 细粒度权限管理:P公司内部有N个子部门,子部门之间需要对数据进行共享和隔离。DLI支持计算资源按租户隔离,保障作业SLA;支持数据权限控制到表/列,帮助企业实现部门间数据共享和权限管理。
  • 建议搭配以下服务使用

    OBS、DIS、 DataArts Studio

图3 运营商大数据分析
support.huaweicloud.com/productdesc-dli/dli_07_0002.html