检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建并使用LakeFormation元数据 DLI对接LakeFormation LakeFormation资源权限支持列表与策略项 父主题： 创建数据库和表
单表分区数最多允许100000个。 创建OBS表的DataSource语法可以参考使用DataSource语法创建OBS表。 创建OBS表的Hive语法可以参考使用Hive语法创建OBS表。 使用DataSource语法创建OBS表 以下通过创建CSV格式的OBS表举例，创建其他
API中除特殊说明外，通常为同步操作，即响应消息中的“is_success”为请求是否执行成功。 若API为异步操作，可根据响应消息中的“job_id”，执行查询作业状态API，从而获取该异步操作API最终是否执行成功。 同时数据湖探索还提供多种编程语言的SDK供您使用，SDK的使用方法请参见华为云开发工具包（SDK）。
管理Flink作业 查看Flink作业详情 设置Flink作业优先级 开启Flink作业动态扩缩容 查询Flink作业日志 Flink作业常用操作 父主题： 使用DLI提交Flink作业
如何合并小文件 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 推荐使用临时表进行数据中转 自读自写在突发异常场景下存在数据丢失的风险 执行SQL： INSERT OVERWRITE TABLE tablename select
本节操作介绍查看弹性资源池计算资源使用情况、作业所需CU数的查看方法。 怎样查看弹性资源池的资源使用情况？ 登录DLI管理管理控制台。 选择“资源管理 > 弹性资源池”。 在弹性资源池的列表页查看资源池的“实际CUs”和“已使用CUs”。 实际CUs：弹性资源池当前分配的可用CUs。 已使用CUs：当前弹性资源池已经被分配使用的CUs
您可以使用curl、Postman或直接编写代码等方式发送请求调用API。对于IAM获取用户Token接口，返回的响应消息头中“x-subject-token”就是需要获取的用户Token。有了Token之后，您就可以使用Token认证调用其他API。 父主题： 如何调用API
户可以利用Flink的生态系统来实现高级的流处理逻辑和状态管理。 创建Flink Jar作业请参考创建Flink Jar作业。 父主题： 使用DLI提交Flink作业
详细的数据说明请参考数据说明。 图1 方案简介 流程指导 使用DLI进行驾驶行为数据分析的操作过程主要包括以下步骤： 步骤1：上传数据。将数据上传到对象存储服务OBS，为后面使用DLI完成数据分析做准备。 步骤2：分析数据。使用DLI对待分析的数据进行查询。 示例代码 具体样例数据及详细SQL语句可以通过数据包进行下载。
队列属性设置 操作场景 DLI支持在队列创建完成后设置队列的属性。 当前支持设置队列的Spark driver的相关参数：通过设置队列的Spark driver，以提升队列资源的调度效率。 本节操作介绍在管理控制台设置队列属性的操作步骤。 约束与限制 仅Spark引擎的SQL队列支持配置队列属性。
flink作业ID"，查询指定的作业。 "groups.程序包组名"，查询指定的程序包组。 "resources.程序包名"，查询指定程序包。 说明： 查看分组下的程序包时，“object”的格式为"resources.程序包组名/程序包名"。 带入query参数的URL示例如下： GET /v1.0
PU累计使用量，输出字节。 CPU累计使用量：作业执行过程的CPU消耗总和，单位：Core*ms 输出字节：作业执行完成后输出的字节数。 查找作业 在“SQL作业”页面，可以通过以下方式对作业进行过滤筛选，在页面中显示符合对应条件的作业。 选择队列名称 选择执行引擎 设置日期范围
使用SQL作业模板开发并提交SQL作业 为了便捷快速地执行SQL操作，DLI支持定制模板或将正在使用的SQL语句保存为模板。保存模板后，不需编写SQL语句，可通过模板直接执行SQL操作。 当前系统提供了多条标准的TPC-H查询语句模板，您可以按需选择自定义模板或系统模板创建SQL作业。
可直接将配置完成的作业信息设置为模板。 在DLI管理控制台的左侧导航栏中，单击“作业模板”>“Spark模板”，页面跳转至Spark作业页面。 参考创建Spark作业配置作业参数。 作业编辑完成后，单击“设为模板”。 输入模板名称和描述信息。 设置模板的分组信息。便于模板的统一管理。
包年包月弹性资源池设置了定时扩缩容时，怎样计费？ 假设您在2023/03/08 15:50:04购买了包年/包月弹性资源池（CU范围：64CUs），购买时长为一个月，在资源运行一段时间后发现使用过程中大部分时间CU数在128CU以上（假设每天累计12个小时实际CUs为128CUs
展。 用户使用自定义镜像功能需要具备Docker相关的基础知识。 使用限制 创建自定义镜像必须使用DLI提供的基础镜像。 不能随意修改基础镜像中DLI相关组件及目录。 仅支持Spark jar作业、Flink jar作业，即jar包作业。 使用流程 图1 自定义镜像使用流程 获取DLI基础镜像。
Forbidden 解决方案 Spark程序访问OBS数据时，需要通过配置AK、SK的访问进行访问。 具体访问方式可以参考：通用队列操作OBS表如何设置AK/SK。 父主题： Spark作业运维类
使用Flink Jar连接开启SASL_SSL认证的Kafka 概述 本节操作介绍使用Flink Jar连接开启SASL_SSL认证的Kafka的操作方法。 如需使用Flink OpenSource SQL连接开启SASL_SSL认证的Kafka，请参考Flink SQL语法参考-Kafka源表。
DLI服务中只有元数据，实际数据在该表对应的OBS路径中。 创建OBS表的SQL语法请参考《使用DataSource语法创建OBS表》和《使用Hive语法创建OBS表》。 备份数据：使用DLI提供导出API，将DLI的数据导出到OBS中备份。 具体API请参考《导出数据》。 存储
如何调用API 构造请求 认证鉴权 返回结果
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
