检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
划线，但不能是纯数字，且不能以下划线开头。长度限制：1~128个字符。 队列名称不区分大小写，系统会自动转换为小写。 类型：队列类型选择“通用队列”。“按需计费”时需要勾选“专属资源模式”。 AZ策略、CPU架构、规格：保持默认即可。 企业项目：当前选择为“default”。 高级选项：选择“自定义”。
划线，但不能是纯数字，且不能以下划线开头。长度限制：1~128个字符。 队列名称不区分大小写，系统会自动转换为小写。 类型：队列类型选择“通用队列”。“按需计费”时需要勾选“专属资源模式”。 AZ策略、CPU架构、规格：保持默认即可。 企业项目：当前选择为“default”。 高级选项：选择“自定义”。
分配。运行作业时按照用户每个作业的数据扫描量（单位为“GB”）收取计算费用。 SQL类型队列：SQL队列支持提交Spark SQL作业。 通用队列：支持Spark程序、Flink SQL、Flink Jar作业。 不支持队列类型切换，如需使用其他队列类型，请重新购买新的队列。 管理队列
安全。Flink Opensource SQL使用DEW管理访问凭据 创建MRS的ClickHouse集群，集群版本选择MRS 3.1.0及以上版本。 ClickHouse结果表不支持删除表数据操作。 Flink中支持字段类型范围为：string、tinyint、smallint
划线，但不能是纯数字，且不能以下划线开头。长度限制：1~128个字符。 队列名称不区分大小写，系统会自动转换为小写。 类型：队列类型选择“通用队列”。“按需计费”时需要勾选“专属资源模式”。 AZ策略、CPU架构、规格：保持默认即可。 企业项目：当前选择为“default”。 高级选项：选择“自定义”。
根据kafka所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka的地址测试队列连通性（通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性 > 输入kafka的地址 > 测试）。如果能连通，则表示跨源已经绑定成功；否则表示未成功。
求等，具体操作请参考创建DLI自定义委托权限和常见场景的委托权限策略。 使用Flink 1.15和Spark 3.3.1(Spark通用队列场景)及以上版本的引擎执行作业时，需自行在IAM页面创建相关委托。 引擎版本低于Flink1.15，执行作业时默认使用dli_admin_agency；引擎版本低于Spark
函数具有相同的初始种子和边界，它们将返回相同的数字序列。 UUID() 根据 RFC 4122 类型 4（伪随机生成）UUID，返回 UUID（通用唯一标识符）字符串。 例如“3d3c68f7-f608-473f-b60c-b0c44ad4cc4e”，UUID 是使用加密强的伪随机数生成器生成的。
表3 弹性资源池队列管理界面参数说明 参数名 参数描述 名称 弹性资源池添加的队列名称。 类型 弹性资源池添加的队列类型。 SQL队列。 通用队列。 时间段 弹性资源池队列扩缩容策略的开始和结束时间范围。时间区间包括开始时间，不包括结束时间即[开始时间, 结束时间) 最小CUs
划线，但不能是纯数字，且不能以下划线开头。长度限制：1~128个字符。 队列名称不区分大小写，系统会自动转换为小写。 类型：队列类型选择“通用队列”。“按需计费”时需要勾选“专属资源模式”。 AZ策略、CPU架构、规格：保持默认即可。 企业项目：当前选择为“default”。 高级选项：选择“自定义”。
弹性资源池添加的队列名称。 dli_queue_01 类型 选择创建的队列类型。 执行SQL作业请选择SQL队列。 执行Flink或Spark作业请选择通用队列。 _ 执行引擎 SQL队列可以选择队列引擎为Spark或者HetuEngine。 _ 企业项目 选择对应的企业项目。 default
Teradata函数 以下函数提供Teradata SQL的能力。 字符串函数 char2hexint(string) 描述：返回字符串的UTF-16BE编码的十六进制表示形式。 index(string, substring) 描述：同strpos() 函数。 日期函数 本节中的函数使用与Teradata
kubernetes.memoryOverheadFactor。 Spark3.3.及以上版本增加了对作业的计算资源规格的约束限制。详细信息请参考表6。 若计算资源规格配置值设置得过高，超出了集群或项目的资源分配能力，作业可能会因资源申请失败导致运行错误。 表6 计算资源规格取值范围 参数说明
参数类型 说明 queue_type 否 String 队列的类型，有如下三种类型： sql：查询SQL队列类型的队列。 general：查询通用队列类型的队列。 all：查询所有类型的队列。 如果不指定，默认为sql。 with-priv 否 Boolean 是否返回权限信息。 with-charge-info
划线，但不能是纯数字，且不能以下划线开头。长度限制：1~128个字符。 队列名称不区分大小写，系统会自动转换为小写。 类型：队列类型选择“通用队列”。“按需计费”时需要勾选“专属资源模式”。 AZ策略、CPU架构、规格：保持默认即可。 企业项目：当前选择为“default”。 高级选项：选择“自定义”。
托的权限策略。委托策略中的“Resource”根据需要具体情况进行替换。 数据清理委托权限配置 适用场景：数据清理委托，表生命周期清理数据及lakehouse表数据清理使用。该委托需新建后自定义权限，但委托名称固定为dli_data_clean_agency。 请在设置委托的授权
概述 DLI支持原生Spark的DataSource能力，并在其基础上进行了扩展，能够通过SQL语句或者Spark作业访问其他数据存储服务并导入、查询、分析处理其中的数据，目前支持的DLI跨源访问服务有：表格存储服务CloudTable，云搜索服务CSS，分布式缓存服务DCS，文
Schema演进语法说明 功能介绍 该能力用于支持Spark SQL对Hudi表的列进行Alter变更，使用该能力前必须开启Schema演进。 Schema演进支持的范围 Schema演进支持范围： 支持列（包括嵌套列）相关的增、删、改、位置调整等操作。 不支持对分区列做演进。
Hudi Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。支持多种计算引擎，提供IUD接口，在HDFS的数据集上提供了插入更新和增量拉取的功能。 表1 支持类别 类别 详情 支持Flink表类型 源表、结果表 支持hudi表类型
Schema演进语法说明 功能介绍 该能力用于支持SparkSql对Hudi表的列进行Alter变更，使用该能力前必须开启Schema演进。 Schema演进支持的范围 Schema演进支持范围： 支持列（包括嵌套列）相关的增、删、改、位置调整等操作。 不支持对分区列做演进。 不
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
