华为云首页用户手册

数据湖探索 DLI-DLI作业开发流程:创建执行作业所需的计算资源和元数据

数据湖探索 DLI-DLI作业开发流程:创建执行作业所需的计算资源和元数据

时间：2024-10-11 17:11:15

数据湖探索 DLI

创建执行作业所需的计算资源和元数据

使用 DLI 提交作业前，您需要先创建弹性资源池，并在弹性资源池中创建队列，为提交作业准备所需的计算资源。请参考DLI弹性资源池与队列简介创建弹性资源池并添加队列。
您还可以通过自定义镜像增强DLI的计算环境，通过下载DLI提供的基础镜像再按需制作自定义镜像，将作业运行需要的依赖（文件、jar包或者软件）、私有能力等内置到自定义镜像中，可以改变Spark作业和Flink作业的容器运行环境，增强作业的功能、性能。

例如，在自定义镜像中加入机器学习相关的Python包或者C库，可以通过这种方式帮助用户实现功能扩展。创建自定义镜像请参考使用自定义镜像增强作业运行环境。
DLI元数据是SQL作业、Spark作业场景开发的基础。在执行作业前您需要根据业务场景定义数据库和表。

Flink支持动态数据类型，可以在运行时定义数据结构，不需要事先定义元数据。
- 定义您的数据结构，包括数据目录、数据库、表。请参考创建DLI元数据。
- 创建必要的存储桶来存储作业运行过程中产生的临时数据：作业日志、作业结果等。请参考配置DLI作业桶。
- 配置元数据的访问权限。请参考在DLI控制台配置数据库权限、在DLI控制台配置表权限。

上一篇：数据湖探索 DLI-DLI作业开发流程:创建IAM用户并授权使用DLI

下一篇：数据湖探索 DLI-DLI作业开发流程:创建IAM用户并授权使用DLI

华为云11.11 2核1G 2M 云服务器

29元/年

立即注册领万元上云礼券

抽奖赢11111元免单

续费同价 L实例 2核2G 4M

98元/年

热门域名 1元随心购

1元/年

数据湖探索 DLI-DLI作业开发流程:创建执行作业所需的计算资源和元数据

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题