检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
仅Spark引擎的SQL队列支持配置队列属性。 仅在队列创建完成后支持设置队列属性。 当前仅支持设置Spark driver相关队列属性。 不支持批量设置队列属性。 弹性资源池中的队列，当队列的最小CUs小于16CUs时，在队列属性中设置的“最大spark driver实例数”和“最大预拉起spark driver实例数”不生效。
队列标签管理 标签管理 标签是用户自定义的、用于标识云资源的键值对，它可以帮助用户对云资源进行分类和搜索。标签由标签“键”和标签“值”组成。 如果用户在其他云服务中使用了标签，建议用户为同一个业务所使用的云资源创建相同的标签键值对以保持一致性。 DLI支持以下两类标签： 资源标签：在DLI中创建的非全局的标签。
进入CES后，在页面左侧“云服务监控”列表中，单击“数据湖探索”。 图2 云服务监控 选择队列进行查看。 图3 查看队列负载 父主题： DLI弹性资源池和队列类
Hudi表的存储路径 示例 run archivelog on h1; run archivelog on "obs://bucket/path/h1"; 注意事项 首先需要执行clean命令，在clean命令清理了历史的数据文件后，Timeline上与清理的数据文件对应的Instant才允许归档。
在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 操作前准备 import相关依赖包 1 2 3 from __future__
在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 操作前准备 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency>
变更普通队列规格 前提条件 新创建的包年包月计费队列需要运行作业后才可进行规格变更。 本节操作仅适用于普通队列，不适用于弹性资源池队列。 注意事项 目前只支持64CUs以上规格包年包月队列进行规格变更。 如果在“规格变更”页面提示“Status of queue xxx is assigning
水与明细账单。 查看数据存储的资源账单 DLI控制台并未展示数据存储的相关信息，您可以在费用中心查询DLI数据存储的资源账单。 在控制台顶部菜单栏中选择“费用与成本 > 费用账单”。 选择“流水和明细账单 > 明细账单”，在产品的筛选条件中选择“DLI存储空间”，单击图标即可搜索DLI数据存储的资源账单。
测试地址连通性 DLI提供的“测试地址连通性”用于验证DLI队列与目标地址之间的网络连通性。 常用于读写外部数据源场景，在配置了跨源连接后，检验DLI队列与绑定的跨源对端地址之间的通信能力。 测试队列与数据源地址连通性 登录DLI管理控制台，选择“资源管理 > 队列管理”。 在“
目和查看已有的企业项目。 弹性资源池中的队列不计费，弹性资源池下队列切换的企业项目和计费无关。即不支持按企业项目查看弹性资源池中的队列资源计费信息。 修改完成后，单击“确定”，保存队列的企业项目信息。 相关操作 如需修改弹性资源池企业项目请参考分配弹性资源池至项目。 父主题： 管理队列
OBS桶”，根据作业运行的日期，找到对应日志的文件夹。 进入对应日期的文件夹后，找到名字中包含“taskmanager”或“jobmanager”的文件夹进入，下载获取taskmanager.out和jobmanager.out文件查看结果日志。 验证跨源是否正确绑定且安全组规则已对该队列开放。
在DLI管理控制台上已完成创建增强跨源连接，并绑定包年包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 构造依赖信息，创建SparkSession 导入依赖。 涉及到mvn依赖
查看某个弹性资源池、某个作业甚至某个作业某次提交的指标信息，则需要根据实际进行筛选。 表2 监控指标 筛选条件 说明 Prometheus实例 基于Prometheus实例进行过滤，表示查看该实例下的所有指标信息。 弹性资源池 基于弹性资源池名称进行过滤，表示查看该弹性资源池下的所有指标信息。
]) 具体使用示例详见：STRUCT示例。 使用限制 创建含有复杂数据类型字段的表时，该表存储格式不支持CSV（txt）。 如果表中含有复杂数据类型字段时，该表不支持CSV（txt）格式的文件数据导入。 MAP数据类型建表必须指定schema，且不支持date、short、timestamp数据类型。
> 权限 > 用户”。 单击“更多 > 下载认证凭据”，保存后解压得到用户的keytab文件与krb5.conf文件。 上传认证凭证到OBS桶。 关于如何创建OBS桶并上传数据，请参考《对象存储服务快速入门》。 创建跨源认证。 登录DLI管理控制台。 选择“跨源管理 > 跨源认证”。
1~ 9999-12-31。 是 是 VARCHAR和CHAR在DLI实际存储是STRING型，因此超出长度的字符串不会被截断。 FLOAT类型在DLI实际存储是DOUBLE型。 INT 有符号整数，存储空间为4字节，-2147483648～2147483647，在NULL情况下，默认值为0。
15:50:04变更弹性资源池规格为128CU。弹性资源池计费详情请参见数据湖探索价格详情。 价格仅供参考，实际计算请以数据湖探索价格详情中的价格为准。 该示例计费详情如表1所示。 表1 包年/包月弹性资源池+扩缩容场景计费示例 计费模式 计算规则 付费周期 费用计算 包年/包月 弹性资源池64CUs包周期
查看队列的基本信息 本节操作介绍在管理控制台如何查看队列的基本信息，包括队列的引擎类型和引擎版本。 查看队列的基本信息 登录DLI管理控制台。 选择“资源管理 > 队列管理”。 进入队列列表页面，选择您需要查看的队列。 在列表页面的右上方单击可以自定义显示列，并设置表格内容显示规则、操作列显示规则。
W”或“DLI提供的跨源认证方式”来存储数据源的认证信息。 数据加密服务（Data Encryption Workshop, DEW）是一个综合的云上数据加密服务，为您解决数据安全、密钥安全、密钥管理复杂等问题。推荐使用数据加密服务DEW来存储数据源的认证信息。 Spark 3.3
CALL COMMAND语法说明 CLEAN_FILE SHOW_TIME_LINE SHOW_HOODIE_PROPERTIES ROLL_BACK CLUSTERING CLEANING COMPACTION SHOW_COMMIT_FILES SHOW_FS_PATH_DETAIL
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
