检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配额管理 什么是配额？ 为防止资源滥用，平台限定了各服务资源的配额，对用户的资源数量和容量做了限制。 如果当前资源配额限制无法满足使用需要，您可以申请扩大配额。 怎样查看我的配额 登录管理控制台。 单击管理控制台左上角的，选择区域和项目。 在页面右上角，选择“资源 > 我的配额”。
管理DLI资源配额 什么是配额？ 为防止资源滥用，平台限定了各服务资源的配额，对用户的资源数量和容量做了限制。 如果当前资源配额限制无法满足使用需要，您可以申请扩大配额。 怎样查看我的配额 登录管理控制台。 单击管理控制台左上角的，选择区域和项目。 在页面右上角，选择“资源 > 我的配额”。
查看指定数据库 功能描述 查看指定数据库的相关信息，包括数据库名称、数据库的描述等。 语法格式 1 DESCRIBE DATABASE [EXTENDED] db_name; 关键字 EXTENDED：除了显示上述信息外，还会额外显示数据库的属性信息。 参数说明 表1 参数说明
管理SQL作业 在SQL作业列表页面查看作业的基本信息 DLI SQL作业管理页面显示所有SQL作业，作业数量较多时，系统分页显示，可根据需要跳转至指定页面。您可以查看任何状态下的作业。作业列表默认按创建时间降序排列。 表1 作业管理参数 参数 参数说明 队列 作业所属队列的名称。
导出SQL作业结果 导出作业结果是将SQL作业分析后的数据结果按指定格式存储到指定位置。 DLI默认将SQL作业结果存储在DLI作业桶中。同时也支持下载作业结果到本地或导出作业结果到指定的OBS桶。 导出作业结果到DLI作业桶 DLI在指定了一个默认的OBS桶作为作业结果的存储位置，请在DLI管理控制台的“全局配置
创建消息通知主题 操作场景 确定创建消息通知主题后，您可在消息通知服务的“主题管理”页面中，对相应的主题添加订阅，选择不同方式（例如短信或者邮件等）进行订阅。订阅成功后，如果作业失败，则系统将会自动发送消息到您指定的订阅终端。 如果作业提交1分钟内立即失败，通常不会触发消息通知。
管理Spark作业 查看Spark作业的基本信息 在总览页面单击“Spark作业”简介，或在左侧导航栏单击“作业管理”>“Spark作业”，可进入Spark作业管理页面。Spark作业管理页面显示所有的Spark作业，作业数量较多时，系统分页显示，您可以查看任何状态下的作业。 表1
配置DLI作业桶 使用DLI服务前需配置DLI作业桶，该桶用于存储DLI作业运行过程中产生的临时数据，例如：作业日志、作业结果。 本节操作指导您在DLI管理控制台的“全局配置 > 工程配置”页面配置DLI作业桶。 操作前准备 配置前，请先购买OBS桶或并行文件系统。 大数据场景推
对象存储OBS源表 功能描述 文件系统连接器可用于将单个文件或整个目录的数据读取到单个表中。 当使用目录作为source路径时，对目录中的文件进行 无序的读取。更多信息参考文件系统 SQL 连接器 语法格式 1 2 3 4 5 6 7 8 9 10 11 CREATE
DLI Hudi元数据 DLI Hudi元数据说明 创建Hudi表时会在元数据仓创建表的相关元数据信息。 Hudi支持对接DLI元数据和Lakeformation元数据（仅Spark 3.3.1及以上版本支持对接Lakeformation元数据），对接方式与Spark一致。 DL
SQL作业访问报错：DLI.0003: AccessControlException XXX 问题现象 SQL作业访问报错：DLI.0003: AccessControlException XXX。 解决措施 请检查OBS桶权限，确保账号有权限访问报错信息中提到的OBS桶。 如果
MRS配置 DLI跨源连接中配置MRS主机信息 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 对接MRS HBase需要在DLI队列的host文件中添加MRS集群节点的/etc/hosts信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。
DLI程序包标签管理 标签是用户自定义的、用于标识云资源的键值对，它可以帮助用户对云资源进行分类和搜索。标签由标签“键”和标签“值”组成。 DLI支持对程序包组或程序包添加标签。 在DLI管理控制台单击“数据管理 > 程序包管理”。 选择程序包，单击操作列的“更多 > 标签”，显示当前程序包组或程序包的标签信息。
使用SQL作业模板开发并提交SQL作业 为了便捷快速地执行SQL操作，DLI支持定制模板或将正在使用的SQL语句保存为模板。保存模板后，不需编写SQL语句，可通过模板直接执行SQL操作。 当前系统提供了多条标准的TPC-H查询语句模板，您可以按需选择自定义模板或系统模板创建SQL作业。
配置DBT连接DLI进行数据调度和分析 DBT（Data Build Tool），是一款开源的数据建模和转换工具，运行在Python环境上。DBT连接DLI，用来定义和执行SQL转换，支持从数据集成、转换到分析的整个数据生命周期管理，适用于大规模数据分析项目和复杂的数据分析场景。
DLI内置依赖包 DLI内置依赖包是平台默认提供的依赖包，用户打包Spark或Flink jar作业jar包时，不需要额外上传这些依赖包，以免与平台内置依赖包冲突。 Spark 3.1.1 依赖包 表1 Spark 3.1.1 依赖包 依赖包名称 accessors-smart-1
如何获取项目ID？ 项目ID是系统所在区域的ID。用户在调用API接口进行云资源管理（如创建集群）时，需要提供项目ID。 查看项目ID步骤如下： 注册并登录华为云管理控制台。 将鼠标移动到右上角用户名上，在下拉列表中单击“我的凭证”。 在“我的凭证”页面的项目列表中查看项目ID。
创建Password类型跨源认证 操作场景 通过在DLI控制台创建的Password类型的跨源认证，将DWS、RDS、DCS和DDS数据源的密码信息存储到DLI，无需在SQL作业中配置账号密码，安全访问DWS、RDS、DDS、DCS数据源。 Password类型跨源认证支持连接的数据源
建立DLI与共享VPC中资源的网络连接 共享VPC简介 共享VPC是通过资源访问管理服务（RAM）将本账号的VPC资源共享给其他账号使用。例如，账号A可以将自己账号下创建的VPC和子网共享给账号B。在账号B接受共享以后，账号B可以查看到共享的VPC和子网，并可以使用该共享VPC和子网创建资源。
scala样例代码 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 CSS非安全集群 开发说明 构造依赖信息，创建SparkSession 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency> <groupId>org
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
