数据湖探索 DLI

数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark和Apache Flink生态, 实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值

 
进入控制台立即购买帮助文档DLI开发者社区1对1咨询                
               

           

    dli服务 内容精选 换一换
  • 与其他云服务的关系

    Service)作为 DLI 的数据来源及数据存储,与DLI配合一起使用,关系有如下四种。 数据来源:使用DLI服务提供API,将 OBS 对应路径的数据导入到DLI。 具体API请参考《导入数据》。 存储数据:DLI中支持创建OBS表,该类型表在DLI服务中只有元数据,实际数据在该表对应的OBS路径中。 创建OBS表的S

    来自:帮助中心

    查看更多 →

  • 使用Spark-submit提交Spark Jar作业

    程序会自动将Spark程序依赖到的相关文件上传的OBS路径,并加载到DLI服务端资源包。 ak 是 - 用户的Access Key。 sk 是 - 用户的Secret Key。 projectId 是 - 用户访问的DLI服务使用的项目编号。 region 是 - 对接的DLI服务的Region。 根据Spark应

    来自:帮助中心

    查看更多 →

  • dli服务 相关内容
  • DLI委托概述

    限委托给DLI服务,让DLI服务以您的身份使用其他云服务,代替您进行一些资源运维工作。 例如:在DLI新建Flink作业所需的AKSK存储在 数据加密 服务 DEW 中,如需允许DLI在执行作业时访问DEW数据,需要提供 IAM 委托将DEW数据操作权限委托给DLI,允许DLI服务以您的身份访问DEW服务。

    来自:帮助中心

    查看更多 →

  • 步骤3:服务退订

    ts Studio后可以一并删除。 DLI DLI计费说明 DLI服务未购买专属队列时,涉及存储收费和扫描量计费。扫描量收费是在使用默认default队列提交作业时计费的,后续不使用队列不收费;存储收费需要您在DLI服务 数据管理 中删除相关数据。 SMN SMN计费说明 SMN服务按实际用量付费,退订DataArts

    来自:帮助中心

    查看更多 →

  • dli服务 更多内容
  • Spark Serverless 介绍

    本文介绍了【Spark Serverless 介绍】相关内容,与您搜索的dli服务相关,助力开发者获取技术信息和云计算技术生态圈动态...请点击查阅更多详情。

    来自:其他

    查看更多 →

  • flink与elasticsearch的奇妙相遇——Nginx日志分析

    本文介绍了【flink与elasticsearch的奇妙相遇——Nginx日志分析】相关内容,与您搜索的dli服务相关,助力开发者获取技术信息和云计算技术生态圈动态...请点击查阅更多详情。

    来自:其他

    查看更多 →

  • 劳动密集型企业上云,如何搭建一个科学靠谱的数据中台

    本文介绍了【劳动密集型企业上云,如何搭建一个科学靠谱的数据中台】相关内容,与您搜索的dli服务相关,助力开发者获取技术信息和云计算技术生态圈动态...请点击查阅更多详情。

    来自:其他

    查看更多 →

  • 权限管理概述

    因为“大数据平台组”需要使用DLI进行数据分析,所有“基础平台组组长”增加了一个权限为“DLI服务管理员”(DLI Service Administrator)的子账号用于管理和使用DLI服务。“基础平台组组长”按照公司两个业务对于数据分析的要求,创建了“队列A”分配给“数据工程

    来自:帮助中心

    查看更多 →

  • 增强型跨源连接权限管理

    项目B需要访问项目A上的数据源,对应操作如下。 对于项目A: 使用项目A对应的账号登录DLI服务。 通过对应数据源的VPC信息在DLI服务中创建增强型跨源连接“ds”。 将增强型跨源连接“ds”授权给项目B。 对于项目B: 使用项目B对应的账号登录DLI服务。 对增强型跨源连接“ds”进行绑定队列操作。 (可选)设置主机信息,创建路由。

    来自:帮助中心

    查看更多 →

  • DLI自定义策略

    col DLI服务,指定region,账号ID为xxx,数据库名为db,表名为tb,列名为col的资源。 DLI:*:*:queue:queues.* DLI服务,任意region,任意账号ID下,任意队列资源。 DLI:*:*:jobs:jobs.flink.1 DLI服务,任意

    来自:帮助中心

    查看更多 →

  • BI工具连接DLI方案概述

    BI工具连接DLI方案概述 BI工具是数据分析的强大助手,提供 数据可视化 、报表生成和仪表板创建等功能。 DLI服务通过对数据的融合分析处理,可以为BI工具提供标准的、有效的高质量数据,供给后续的数据统计分析使用。 通过连接到DLI,BI工具可以更加灵活的使用DLI访问和分析数据,帮助企业快速做出基于数据的决策。

    来自:帮助中心

    查看更多 →

  • 微服务架构下,DLI的部署和运维有何奥秘?

    本文介绍了【微服务架构下,DLI的部署和运维有何奥秘?】相关内容,与您搜索的dli服务相关,助力开发者获取技术信息和云计算技术生态圈动态...请点击查阅更多详情。

    来自:其他

    查看更多 →

  • DLI数据源

    AK(Access Key ID)、SK(Secret Access Key),即访问密钥对。 队列名称:DLI服务中的队列名称。队列即为计算资源,计算资源是使用DLI服务的基础,用户执行的一切作业都需要使用计算资源。 登录DLI管理控制台。 在左侧导航栏中,选择“资源管理 > 队列管理”。

    来自:帮助中心

    查看更多 →

  • 如何在DLI中运行复杂PySpark程序

    本文介绍了【如何在DLI中运行复杂PySpark程序】相关内容,与您搜索的dli服务相关,助力开发者获取技术信息和云计算技术生态圈动态...请点击查阅更多详情。

    来自:其他

    查看更多 →

  • 提交作业时提示作业桶权限不足怎么办?

    使用DLI作业桶需要确保已完成DLI作业桶的权限配置。 您需要在OBS管理控制台中检查DLI作业桶的桶策略,确保策略中包含了允许DLI服务进行必要操作的授权信息。 确保没有任何策略明确拒绝了DLI服务对桶的访问。IAM策略是优先考虑拒绝(deny)权限的,即使有允许(allow)权限,如果有拒绝权限存在,也会导致授权失败。

    来自:帮助中心

    查看更多 →

  • DLI BEELINE 使用教程

    本文介绍了【DLI BEELINE 使用教程】相关内容,与您搜索的dli服务相关。邀你共享云计算使用和开发经验,汇聚云上智慧,共赢智慧未来...更多详情请点击查阅。

    来自:其他

    查看更多 →

  • Flink作业相关API(废弃)

    Flink作业相关API(废弃) 查询作业监控信息(废弃) OBS授权给DLI服务 父主题: 历史API

    来自:帮助中心

    查看更多 →

  • 下载并安装JDBC驱动包

    下载并安装JDBC驱动包 操作场景 JDBC用于连接DLI服务,您可以在Maven获取JDBC安装包,或在DLI管理控制台下载JDBC驱动文件。 本文介绍通过JDBC连接DLI并提交SQL作业。 获取服务端连接地址 连接DLI服务的地址格式为:jdbc:dli://<endPoin

    来自:帮助中心

    查看更多 →

  • 配置DLI云服务委托权限

    配置DLI云服务委托权限 使用DLI服务前请先配置DLI云服务权限。 本节操作适用于以下场景: 首次使用DLI服务,请参考本节操作按需配置DLI云服务委托权限。 使用DLI的过程中需要与其他云服务协同工作,因此需要您将部分服务的操作权限委托给DLI服务,确保DLI具备基本使用的权限,让DLI服务以您的身

    来自:帮助中心

    查看更多 →

  • 创建IAM用户并授权使用DLI

    Management,简称IAM),具体IAM使用场景可以参考权限管理概述。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用DLI服务的其它功能。 本章节介绍创建IAM用户并授权使用DLI的方法,操作流程如图1所示。 前提条件 给用户组授权之前,请您先了解用户组可以添加

    来自:帮助中心

    查看更多 →

  • 使用教程

    MySQL整库迁移到RDS服务 Oracle数据迁移到 云搜索服务 Oracle数据迁移到DWS OBS数据迁移到 云搜索 服务 OBS数据迁移到DLI服务 MRS HDFS数据迁移到OBS Elasticsearch整库迁移到云搜索服务

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了