检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
了解dli_management_agency请参考DLI委托概述。 创建自定义委托并在作业中配置委托的操作步骤请参考自定义DLI委托权限。 父主题： DLI权限管理类
参考DLI对接LakeFormation。 DLI元数据权限管理 可通过DLI SQL权限管理或者IAM鉴权管理DLI元数据的权限 DLI SQL权限管理： 在“数据湖探索 > 数据管理 > 库表管理”页面，搜索要授权的库/表。 单击表操作列的“权限管理”，即可查看当前库/表授权信息或者新增授权。
数据目录：数据目录（Catalog）是元数据管理对象，它可以包含多个数据库。您可以在DLI中创建并管理多个Catalog，用于不同的元数据隔离。 · 数据库：数据库是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。数据库通常用于存储、检索和管理结构化数据，由多个数据表组成，这些数据表通过键和索引相互关联。
步骤四：运行作业 根据业务需求创建和提交作业。 管理SQL作业 Flink作业概述 创建Spark作业 步骤一：创建弹性资源池 登录DLI管理控制台，在左侧导航栏单击“资源管理 > 弹性资源池”，可进入弹性资源池管理页面。 在弹性资源池管理界面，单击界面右上角的“购买弹性资源池”。
开、全部收起。 创建SQL作业模板 创建模板的操作入口有两个，分别在“作业模板”和“SQL编辑器”页面。 在“作业模板”页面创建模板。 在管理控制台左侧，单击“作业模板”>“SQL模板”。 在“SQL模板”页面，单击右上角“创建模板”。 输入模板名称、语句和描述信息，详细参数介绍请参见表1。
DLI datasource v1表 DLI datasource v2表（以下简称V2表）：spark开源的Datasource表，建表/插入/truncate命令使用spark开源的command，表的数据路径为$tablepath/数据文件。 图2 DLI datasource
如果存在未完成的Clustering计划，后续写入触发生成Compaction调度计划时会报错失败，需要及时执行Clustering计划。 父主题： 数据管理维护
如何查看Spark内置依赖包的版本？ DLI内置依赖包是平台默认提供的依赖包，用户打包Spark或Flink jar作业jar包时，不需要额外上传这些依赖包，以免与平台内置依赖包冲突。 查看Spark内置依赖包的版本请参考内置依赖包。 资源包管理中的包是否能够下载? 资源包仅提供托管服务，不提供下载功能。
怎样查看DLI的数据扫描量？ 登录DLI管理控制台。 选择“作业管理 > SQL作业”。 筛选执行队列为default队列，查看相应的作业。 单击展开作业，查看已扫描的数据。如图1所示。 图1 查看作业扫描量 父主题： 计费相关问题
创建表时指定表的生命周期 功能描述 DLI提供了表生命周期管理功能，在创建表时指定表的生命周期。DLI会根据每张表的最后修改时间和表的生命周期来判断是否要回收此表。通过设置表的生命周期，可以帮助您更好的管理数目众多的表，自动清理长期不再使用的数据表，简化数据表的回收流程。同时支持数据恢复设置，避免因误操作丢失数据。
Studio-DLF调度。 自建大数据生态的调度工具，如Airflow。 企业级多租户 基于表的权限管理，可以精细化到列权限。 基于文件的权限管理。 高性能 性能 基于软硬件一体化的深度垂直优化。 大数据开源版本性能。 跨源分析 支持多种数据格式，云上多种数据源、ECS自建数据库以及线下数据库
"UPDATE_RESOURCE'." 解决方案 需要给执行作业的用户赋程序包的操作权限，具体操作参考如下： 在DLI管理控制台左侧，单击“数据管理 > 程序包管理”。 在“程序包管理”页面，单击程序包“操作”列中的“权限管理”，进入“用户权限信息”页面。 在单击页面右上角“授权”可对用户进行程序包组/程序包授权，勾选“更新组”权限。
操作步骤 Flink作业动态扩缩容适用于Flink Opensource SQL作业和Flink Jar作业。 登录DLI管理控制台。 单击“作业管理 > Flink作业”。 选择要开启动态扩缩容的作业，单击操作列下的编辑。 Flink Opensource SQL作业单击“自定义配置”，配置动态扩缩容参数。
enterprise_project_id 否 String 企业项目ID。 "0”表示default，即默认的企业项目。 说明： 开通了企业管理服务的用户可设置该参数绑定指定的项目。 resource_type 否 String 资源类型。 vm：ecf集群 container：容器化集群（k8s）
过刷新“队列管理”页面，对比“规格”和“实际CUs”大小是否一致来判断是否扩容成功。或者在“作业管理”页面，查看“SCALE_QUEUE”类型SQL作业的状态，如果作业状态为“弹性扩缩容中”，表示队列正在扩容中。 操作步骤如下： 在DLI管理控制台左侧，选择“资源管理 > 队列管理”。
已经配置DLI作业桶，且完成Flink桶授权后在提交作业时仍然提示桶未授权怎么办？ 根因分析 使用DLI作业桶需要确保已完成DLI作业桶的权限配置。 您需要在OBS管理控制台中检查DLI作业桶的桶策略，确保策略中包含了允许DLI服务进行必要操作的授权信息。 确保没有任何策略明确拒绝了DLI服务对桶的访问。
DWS、RDS、Redis 结果表 DWS、RDS、CSS、Redis 维表 DWS、RDS、Redis 操作步骤 创建跨源认证。 登录DLI管理控制台。 选择“跨源管理 > 跨源认证”。 单击“创建”。 填写认证信息，详细参数说明请参考表2。 表2 参数说明 参数 参数说明 类型 选择Password。
登录SWR管理控制台。 选择左侧导航栏的“总览”，单击页面右上角的“登录指令”，在弹出的页面中单击复制登录指令。 在安装容器引擎的虚拟机中执行上一步复制的登录指令。 创建容器镜像组织。如果已创建组织则本步骤可以忽略。 登录SWR管理控制台。 选择左侧导航栏的“组织管理”，单击页面右上角的“创建组织”。
0。 Spark 3.3.1（3.0.0）版本的SQL仍有部分不支持Delta表的相关开源语法，具体内容请参考表1。 表1 Spark 3.3.1-3.0.0版本SQL不支持的Delta表相关开源语法 不支持的语法 示例 ALTER TABLE REPLACE COLUMNS替换列
重新对A用户赋予该权限。 查看表权限 在管理控制台左侧，单击“数据管理”>“库表管理”。 单击需要设置权限的表所在的数据库名，进入该数据库的“表管理”页面。 单击所选表“操作”栏中的“权限管理”，将显示该表对应的权限信息。 图1 表权限管理 表权限设置有3种场景：为新用户或项目赋
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
