检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi数据表管理操作规范 Hudi数据表Compaction规范 Hudi数据表Clean规范 Hudi数据表Archive规范 父主题： DLI Hudi开发规范
如何查看Spark内置依赖包的版本？ DLI内置依赖包是平台默认提供的依赖包，用户打包Spark或Flink jar作业jar包时，不需要额外上传这些依赖包，以免与平台内置依赖包冲突。 查看Spark内置依赖包的版本请参考内置依赖包。 资源包管理中的包是否能够下载? 资源包仅提供托管服务，不提供下载功能。
创建数据库和表 了解数据目录、数据库和表 在DLI控制台创建数据库和表 查看表元数据 在DLI控制台管理数据库资源 在DLI控制台管理表资源 创建并使用LakeFormation元数据
可能会导致资源创建失败，请联系组织管理员了解标签策略详情。 DLI支持以下两类标签： 资源标签：在DLI中创建的非全局的标签。 预定义标签：在标签管理服务（简称TMS）中创建的预定义标签，属于全局标签。 有关预定义标签的更多信息，请参见《标签管理服务用户指南》。 以下介绍如何为跨源连接添加标签、修改标签和删除标签。
登录DLI管理控制台。 在左侧导航栏中，选择“跨源管理 > 增强型跨源 ”。 选择待操作的增强型跨源连接，单击操作列的“更多 > 权限管理”。 授权： 在权限管理页面，权限设置选择“授权”。 输入项目ID。 单击“确定”，授予该项目弹性资源池的操作权限。 回收权限： 在权限管理页面，权限设置选择“回收”。
Connector使用方法请参考表1 表1 DWS Connector支持类别 类别 操作指导 源表 DWS源表（不推荐使用） 结果表 DWS结果表（不推荐使用） 维表 DWS维表（不推荐使用） 父主题： DWS
密钥管理复杂等问题。本节操作介绍使用数据加密服务DEW存储数据源的认证信息的操作步骤。 了解数据加密服务。 在DEW创建通用凭据 本例以配置RDS实例访问凭据为例，介绍在DEW保存凭据，并在DLI作业中的配置示例。 登录DEW管理控制台 选择“凭据管理”，进入“凭据管理”页面。 单击“创建凭据”，配置凭据基本信息
Jar作业可靠性配置与SQL作业相同，不再另行说明。 根据如下公式，配置作业的“CU数量”、“管理单元”与“最大并行数”： CU数量 = 管理单元 + (算子总并行数 / 单TM Slot数) * 单TM所占CU数 例如：CU数量为9CU，管理单元为1CU，最大并行数为16，则计算单元为8CU。 如果不手动配
Workshop，DEW）、云凭据管理服务（Cloud Secret Management Service，CSMS），提供一种安全、可靠、简单易用隐私数据加解密方案。 用户或应用程序通过凭据管理服务，创建、检索、更新、删除凭据，轻松实现对敏感凭据的全生命周期的统一管理，有效避免程序硬编码或
[403]。 解决措施 请检查OBS桶权限，确保账号有权限访问报错信息中提到的OBS桶。 如果没有，需要联系OBS桶的管理员添加桶的访问权限。 父主题： SQL作业运维类
在DLI控制台管理表资源 在DLI控制台配置表权限 在DLI控制台删除表 在DLI控制台修改表所有者 将OBS数据导入至DLI 导出DLI表数据至OBS中 在DLI控制台预览表数据 父主题： 创建数据库和表
务过载并保持服务的稳定性。 跨AZ容灾：DLI云服务采用跨可用区容灾部署，减少单点故障的风险，提高系统的可用性和弹性。 备份恢复：DLI自动化的备份策略和恢复计划，确保在发生故障时可以迅速恢复服务和数据。 父主题： 安全
创建消息通知主题后，只有在订阅队列上创建的Spark作业失败时才会收到消息通知。 图2 创建主题成功 单击图2中“主题管理”，跳转至消息通知服务“主题管理”页面。 图3 主题管理 在对应主题的“操作”列中，单击“添加订阅”，选择“协议”，确定订阅方式。 如果选择“短信”协议，需要在“订阅终端”中填写接收确认短信的手机号码。
登录SWR管理控制台。 选择左侧导航栏的“总览”，单击页面右上角的“登录指令”，在弹出的页面中单击复制登录指令。 在安装容器引擎的虚拟机中执行上一步复制的登录指令。 创建容器镜像组织。如果已创建组织则本步骤可以忽略。 登录SWR管理控制台。 选择左侧导航栏的“组织管理”，单击页面右上角的“创建组织”。
怎样管理在DLI上运行的作业 管理大量的DLI作业时您可以采用以下方案： 作业分组： 将几万个作业根据不同的类型分组，不同类型的作业通过不同的队列运行。 创建IAM子用户 或者创建IAM子用户，将不同类型的作业通过不同的用户执行。 具体请参考《数据湖探索用户指南》。 此外DLI还
配置Spark作业：配置Spark作业访问OBS中存储的数据。 提交Spark作业：完成作业编写后，提交并执行作业。 父主题： Spark作业运维类
使用CES监控DLI服务 功能说明 本章节定义了数据湖探索服务上报云监控的监控指标的命名空间，监控指标列表和维度定义，用户可以通过云监控服务提供的管理控制台或API接口来检索数据湖探索服务产生的监控指标和告警信息。 命名空间 SYS.DLI 监控指标 表1 数据湖探索服务支持的监控指标 指标ID
enterprise_project_id 否 String 企业项目ID，“0”表示default，即默认的企业项目。关于如何设置企业项目请参考《企业管理用户指南》。 说明： 开通了企业管理服务的用户可设置该参数绑定指定的项目。 platform 否 String 队列计算资源的cpu架构。 x86_64 aarch64
作业运行慢可以通过以下步骤进行排查处理。 可能原因1：FullGC原因导致作业运行慢 判断当前作业运行慢是否是FullGC导致： 登录DLI控制台，单击“作业管理 > SQL作业”。 在SQL作业页面，在对应作业的“操作”列，单击“更多 > 归档日志”。 图1 归档日志 在OBS目录下，获取归档日志文件夹，详细如下。
在“程序包管理”页面，选择要授权的程序包组或程序包，单击“操作”列中的“权限管理”。 进入“用户权限信息”页面，单击页面右上角“授权”新增授权用户，并选择对应的权限。 如果创建程序包时选择了分组，则权限管理为对应程序包组的权限管理。 如果创建程序包时选择了不分组，则权限管理为对应程序包的权限管理。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
