数据库分析
应用的数据(如:注册信息)存在关系型数据库中,想对数据库内的数据进行分析
痛点:
•数据量日益增多,复杂查询关系型数据库查不出来
•数据分库分表存在多个关系型数据库中,无法做全量分析
•不想因为分析业务影响在线业务
优势:
熟悉的SQL体验
DLI的SQL语法全兼容关系型数据库的标准ANSI SQL 2003,0学习成本,使用习惯保持一致
极致性能
DLI采用分布式内存计算模型,轻松处理海量数据
建议搭配使用: 云数据迁移 CDM
电商行业
精准营销
电商行业需要获取多个途径的信息做关联分析,以便更好地做精准营销,提高转化率。如:关联【页面广告点击事件数据】和【用户注册数据】,获取不同年龄段喜欢的广告类型,以便对不同年龄段用户投放更精准的广告
优势
跨源分析
数据免搬迁,就可以关联分析存在OBS中的【页面广告点击事件数据】和RDS中的【用户注册数据】
纯SQL操作
DLI已对接多个数据源,直接通过SQL建表就可以完成数据源的映射
建议搭配使用: 对象存储服务 OBS/ 数据接入服务 DIS
游戏行业
游戏公司日常通过数据分析平台,借助数据力量没突破行业瓶颈。例如:寻找优质的投放渠道、提高新手期玩家留存、优化运营活动提升玩家活跃、数据驱动产品迭代等
痛点:
•日志分析通常是按周期进行调度,每次调度之间存在大量空闲期
优势
按量计费
DLI按量计费只在使用期间收费,成本较独占集群降低50%以上
批流一体
DLI是批流一体架构,使用一份资源就可以完成流式数据清洗和批量数据分析
建议搭配使用:数据接入服务DIS/ 云数据库MySQL
大企业
日志分析
大企业的部门比较多,不同部门在使用 云服务 时,需要对不同部门的员工的权限进行管理,包括计算资源的创建、删除、使用、隔离等。同时,也需要对不同部门的数据进行管理,包括数据的隔离、共享等
优势
细粒度权限控制
列级别权限控制;INSERTINTO/OVERWRITE单独权限控制;表元数据只读权限控制
统一的管理机制
使用统一的 IAM 管理用户(无需单独创建DLI用户),支持IAM细粒度授权
基因行业
基因数据处理
现在基因行业有很多基于Spark分布式框架的第三方分析库,如ADAM、Hail等
痛点:
•安装ADAM、Hail等分析库比较复杂
•每次新建集群都需要安装一遍
优势
支持 自定义镜像
支持基于基础 镜像 打包ADAM、Hail等第三方分析库,直接上传到 容器镜像服务 SWR,在DLI中运行作业时会自动拉取SWR中的自定义镜像
内置多个基础镜像
内置华为增强版Spark/Flink多版本基础镜像, 开源 Tensorflow/Keras/PyTorch的AI镜像
建议搭配使用 容器镜像 服务SWR
金融行业
实时风控
为了提高消灭或减少风险事件发生的各种可能性,需要使用风控系统对典型的场景包括:注册风控、登录风控、交易分控等进行风控
痛点:
•风控系统对实时性要求很高
优势
高吞吐低时延
采用Apache Flink的Dataflow模型,完全的实时计算框架。采用 高性能计算 资源,单CPU每秒吞吐1千~2万条消息
丰富的云生态
使用SQL就可以将处理后的数据流式写入CloudTable、 SMN 等多个云服务
建议搭配使用:数据接入服务DIS/ 消息通知 服务SMN
政府行业
实时大屏
为了更好地做好新冠疫情的管控,各地政府需要通过实时大屏掌握新冠疫情的现存确诊、累计确诊、境外输入等关键数据,为下一步疫情调控提供数据支撑
痛点:
•政府行业技术人员通常会SQL,但对 大数据 了解不多
优势
简单易用
在线编辑Stream SQL,丰富的SQL函数满足复杂业务需要
全托管
用户完全不感知计算集群,聚焦流分析本身
建议搭配使用:云 数据迁移 CDM/数据接入服务DIS/ 云数据库 MySQL/ 数据可视化DLV
地理大数据分析
地理大数据分析
地理大数据具有大数据的相关特征,数据体量巨大,例如全球卫星遥感影像数据量达到PB级;数据种类多,有结构化的遥感影像栅格数据、矢量数据,非结构化的空间位置数据、三维建模数据;在大体量的地理大数据中,通过高效的挖掘工具或者挖掘方法实现价值提炼,是用户非常关注的话题
优势
提供地理专业算子
支持全栈Spark能力,具备丰富的Spark空间数据分析算法算子,全面支持结构化的遥感影像数据、非结构化的三维建模、激光点云等巨量数据的离线批处理,支持带有位置属性的动态流数据实时计算处理
CEP SQL
提供地理位置分析函数对地理空间数据进行实时分析,用户仅需编写SQL便可实现例如偏航检测,电子围栏等地理分析场景
大 数据治理 能力
能快速将海量遥感影像数据接入上云,快速完成影像数据切片处理,为分布式批处理计算提供弹性分布式 数据集
建议搭配使用:数据接入服务DIS/ 对象存储 服务OBS/云数据 迁移 CDM/ 数据快递 服务DES/ 表格存储服务 CloudTable