华为云计算 云知识 数据湖探索与其他云服务的关系
数据湖探索与其他云服务的关系

对象存储服务 的关系

对象存储 服务( Object Storage Service ,简称OBS)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下四种。

数据来源:DLI服务提供API,支持将OBS对应路径的数据导入到DLI。

存储数据:DLI中支持创建OBS表,该类型表在DLI服务中只有元数据,实际数据在该表对应的OBS路径中。

备份数据:DLI提供导出API,支持将DLI的数据导出到OBS中备份。

存储查询结果:DLI提供API供用户将日常作业的查询结果数据保存到OBS。

统一身份认证 服务的关系

统一身份认证服务(Identity and Access Management,简称 IAM )为DLI提供了华为云统一入口鉴权功能。

云审计 服务的关系

云审计服务(Cloud Trace Service,简称 CTS )为DLI提供对应用户的操作审计。

云监控服务 的关系

云监控 (Cloud Eye)为DLI提供监控数据,监控作业中的多项指标,从而集中高效地呈现状态信息。

消息通知 服务的关系

消息通知服务(Simple Message Notification)可以在DLI发生作业运行异常时给用户发送通知。

云数据迁移 服务的关系

数据迁移 服务(Cloud Data Migration,简称 CDM )可以将OBS的数据 迁移 到DLI中。

数据接入服务 的关系

数据接入服务(Data Ingestion Service,简称DIS)通过通道将数据导入到DLI。

表格存储服务 的关系

表格存储 服务(CloudTable Service)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下两种。

数据来源:DLI服务提供DataFrame和SQL方式从CloudTable中导入数据到DLI。

存储查询结果:DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到CloudTable表中。

与关系型 数据库 服务的关系

关系型数据库(Relational Database Service,简称RDS)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下两种。

数据来源:DLI服务提供DataFrame和SQL方式从RDS中导入数据到DLI。

存储查询结果:DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到RDS表中。

数据仓库 服务的关系

数据仓库服务(Data Warehouse Service,简称DWS)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下两种。

数据来源:DLI服务提供DataFrame和SQL方式从DWS中导入数据到DLI。

存储查询结果:DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到DWS表中。

云搜索服务 的关系

云搜索 服务(Cloud Search Service,简称CSS)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下两种。

数据来源:DLI服务提供DataFrame和SQL方式从CSS中导入数据到DLI。

存储查询结果:DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到CSS表中。

与分布式缓存服务的关系

分布式缓存服务(Distributed Cache Service)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下两种。

数据来源:DLI服务提供DataFrame和SQL方式从DCS中导入数据到DLI。

存储查询结果:DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到DCS表中。

文档数据库服务 的关系

文档数据库 服务(Document Database Service)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下两种。

数据来源:DLI服务提供DataFrame和SQL方式从DCS中导入数据到DLI。

存储查询结果:DLI使用标准SQL的Insert语法将日常作业的查询结果数据存放到DCS表中。


上一篇:什么是网盘 下一篇:云迁移方案设计

数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询