检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过ACL赋权给其他子用户使用。 作用范围：项目级服务。 系统角色 无 具体的授权方式请参考创建IAM用户并授权使用DLI以及《如何创建子用户》和《如何修改用户策略》。 DLI权限分类 DLI服务权限分类如表2所示，其可控制的资源请参考表4。 表2 DLI权限分类 权限大类 权限小类
授权方式 DLI FullAccess 数据湖探索所有权限。 系统策略 具体的授权方式请参考创建IAM用户并授权使用DLI以及《如何创建子用户》和《如何修改用户策略》。 DLI ReadOnlyAccess 数据湖探索只读权限。 系统策略 Tenant Administrator
接）。 创建完跨源连接后，可以通过“资源管理 > 队列管理”页面，单击“操作”列“更多”中的“测试地址连通性”，验证队列到外部数据源之间的网络连通是否正常。详细操作可以参考测试地址连通性。 操作步骤 在DLI管理控制台的左侧导航栏中，单击“作业管理”>“Spark作业”，进入“Spark作业”页面。
04-x86_64-uid1000-20230308194728-68791b4 请按需更换地址中的Region名称后使用 例如，新加坡区域的endpoint为ap-southeast-3.myhuaweicloud.com 拼接后的基础镜像地址为：swr.ap-southeast-3.myhuaweicloud
图1 我的配额 您可以在“服务配额”页面，查看各项资源的总配额及使用情况。 如果当前配额不能满足业务要求，请参考后续操作，申请扩大配额。 如何申请扩大配额？ 登录管理控制台。 在页面右上角，选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图2 我的配额 单击“申请扩大配额”。
图1 我的配额 您可以在“服务配额”页面，查看各项资源的总配额及使用情况。 如果当前配额不能满足业务要求，请参考后续操作，申请扩大配额。 如何申请扩大配额？ 登录管理控制台。 在页面右上角，选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图2 我的配额 单击“申请扩大配额”。
支持配置小文件合并 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 参考如何合并小文件完成合并小文件。 支持修改非分区表或分区表的列注释 修改非分区表或分区表的列注释。 支持统计SQL作业的CPU消耗 支持在控制台查看“CPU累计使用量”。
DLI将Flink作业的输出数据输出到关系型数据库中。 前提条件 要与实例建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 语法格式 1 2 3 4 5
getFlinkJobsMetrics - POST /v1.0/{project_id}/streaming/jobs/metrics 查询Flink作业APIG网关服务访问地址 getFlinkApigSinks - GET /v1.0/{project_id}/streaming/jobs/{job_id}/apig-sinks
支持配置小文件合并 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 参考如何合并小文件完成合并小文件。 支持修改非分区表或分区表的列注释 修改非分区表或分区表的列注释。 支持统计SQL作业的CPU消耗 支持在控制台查看“CPU累计使用量”。
使用DLI分析账单消费数据 应用场景 本文主要介绍如何使用华为云DLI上的实际消费数据（文中涉及账户的信息已脱敏），在DLI的大数据分析平台上进行分析，找出费用优化的空间，并给出使用DLI过程中降低成本的一些优化措施。 流程介绍 使用DLI进行账单分析与优化的操作过程主要包括以下步骤：
图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前，华为云已在全球多个地域开放云服务，您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。 如何选择区域？ 选择区域时，您需要考虑以下几个因素： 地理位置 一般情况下，建议就近选择靠近您或者您的目标用户的区域，这样可以减少网络时延，提
此处可以看到作业的执行状态。点击对应作业右侧的更多，可以在下拉菜单中跳转日志选单： 归档日志：跳转OBS界面，可以看到该作业的全部日志归档地址，包含提交日志，Driver日志和Executor日志，在此处可以下载日志。 提交日志：跳转到提交日志的聚合展示界面，可以查看任务提交中的日志信息。
设置是否将作业异常告警信息，如作业出现运行异常或者欠费情况，以SMN的方式通知用户。 勾选后需配置下列参数： “SMN主题”： 选择一个自定义的SMN主题。如何自定义SMN主题，请参见《消息通知服务用户指南》中“创建主题”章节。 异常自动重启 否 设置是否启动异常自动重启功能，当作业异常时将自动重启并恢复作业。
Forbidden 解决方案 Spark程序访问OBS数据时，需要通过配置AK、SK的访问进行访问。 具体访问方式可以参考：通用队列操作OBS表如何设置AK/SK。 父主题： Spark作业运维类
在编辑作业过程中重复定义，减少开发与维护成本。通过使用全局变量可以替换长难复杂变量，简化复杂参数，提升SQL语句可读性。 本节操作为您介绍如何创建全局变量。 创建全局变量 在DLI控制台左侧导航栏中单击“全局配置 > 全局变量”。 在“全局变量”页面，单击右上角“创建变量”，可创建新的全局变量。
BasicCredentials。 仅支持获取AK、SK、SecurityToken。 获取到AK、SK、SecurityToken后，请参考如何使用凭据管理服务替换硬编码的数据库账号密码查询凭据。 约束限制 仅支持Spark3.3.1版本（Spark通用队列场景）使用委托授权访问临时凭证：
查询批处理作业列表 功能介绍 该API用于查询Project下某队列批处理作业的列表。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET /v2.0/{project_id}/batches 参数说明 表1 URI参数 参数名称 是否必选 参数类型
在DLI使用Hudi提交Spark SQL作业 登录DLI管理控制台，选择“SQL编辑器”首进入提交SQL作业的界面。提交SQL作业时需要选择支持Hudi的Spark SQL队列。 创建一张Hudi表： 将如下的建表语句粘贴至DLI SQL编辑器的输入区域，修改 LOCATION
是否必选 说明 connector.type 是 connector类型，需配置为'gaussdb' connector.url 是 jdbc连接地址，格式为：jdbc:postgresql://${ip}:${port}/${dbName} 。 connector.table 是 读取数据库中的数据所在的表名
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
