检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
切换至新版本对DLI资源价格是否有影响？ DLI按作业运行所需的计算资源和存储资源计费，与计算引擎版本无关。 如何升级到DLI Spark 2.4.5版本？ 在DLI管理控制台，购买弹性资源池和队列资源，用于提供执行作业所需的计算资源。 单击“作业管理 > Spark作业”，新建Spark作业。
切换至新版本对DLI资源价格是否有影响？ DLI按作业运行所需的计算资源和存储资源计费，与计算引擎版本无关。 如何升级到DLI Spark 3.1.1版本？ 在DLI管理控制台，购买弹性资源池和队列资源，用于提供执行作业所需的计算资源。 单击“作业管理 > Spark作业”，新建Spark作业。
add_months add_months函数用于计算日期值增加指定月数后的日期。即start_date在num_months个月之后的date。 命令格式 add_months(string start_date, int num_months) 参数说明 表1 参数说明 参数
date_add date_add函数用于计算按照days幅度递增startdate日期的天数。 如需要获取当前日期基础上指定变动幅度的日期，可结合current_date或getdate函数共同使用。 请注意date_add函数与date_sub函数逻辑反。 命令格式 date_add(string
datetrunc datetrunc函数用于计算将日期date按照datepart指定的时间单位进行截取后的日期值。 截取datepart之前的部分，除截取的部分外自动填充为默认值。可参考示例代码。 命令格式 datetrunc (string date, string datepart)
参数B控制近似的精确度，B值越大，近似度越高，默认值为10000。当列中非重复值的数量小于B时，返回精确的百分数。 返回值说明 返回DOUBLE类型的值。 示例代码 计算所有商品库存（items）的 0.5 百分位，精确度100。命令示例如下： select PERCENTILE_APPROX(items,0
BY子句定义的，其特征是包含窗口表值函数产生的 “window_start” 和 “window_end” 列。和普通的 GROUP BY 子句一样，窗口聚合对于每个组会计算出一行数据。和其他连续表上的聚合不同，窗口聚合不产生中间结果，只在窗口结束产生一个总的聚合结果，另外，窗口聚合会清除不需要的中间状态。 更
Hudi是否应该基于最后24个提交的元数据动态计算insertSplitSize，默认关闭。 true hoodie.copyonwrite.record.size.estimate 平均记录大小。如果指定，Hudi将使用它，并且不会基于最后24个提交的元数据动态地计算。 没有默认值设置。这对于计算插入并行度以及将插入打包到小文件中至关重要。
Hash函数 函数说明 表1 Hash函数说明 Hash函数 函数说明 MD5(string) 返回以32个十六进制数所表示的字符串的MD5哈希值 若字符串是null，则返回null SHA1(string) 返回以40个十六进制所表示的字符串的SHA-1哈希值 若字符串是null，则返回null
获取指定集群信息（废弃） 功能介绍 该API用于查询指定集群的信息，包括名称、描述以及绑定的计算资源数。 当前接口已废弃，不推荐使用。 URI URI格式： GET /v2.0/{project_id}/clusters/{cluster_name} 参数说明 表1 URI参数 名称
弹性资源池CU时套餐包：按照“CU时”收取计算费用，用户在弹性资源池添加的队列上运行作业时按照弹性资源池CU时计费。 扫描数据量套餐包：按照用户每个作业的数据扫描量（单位为“GB”）收取计算费用。 队列CU时套餐包：按照“CU时”收取计算费用，用户在自建队列上运行作业时按照队列CU时计费。
ID)/SK(Secret Access Key)加密调用请求。推荐使用AK/SK认证，其安全性比Token认证更高。 Token认证 Token在计算机系统中代表令牌（临时）的意思，拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头，从而通过身份认证，获得操作API的权限。
Over聚合 OVER 聚合通过排序后的范围数据为每行输入计算出聚合值。和 GROUP BY 聚合不同， OVER 聚合不会把结果通过分组减少到一行，它会为每行输入增加一个聚合值。 更多介绍和使用请参考开源社区文档：Over聚合。 语法格式 1 2 3 4 5 6 7 SELECT
版本支持公告 DLI计算引擎版本生命周期 Flink 1.15版本说明 Flink 1.12版本说明 Spark 3.3.1版本说明 Spark 3.1.1版本说明 Spark 2.4.5版本说明 Spark 2.4.x与Spark 3.3.x版本差异对比
数据湖探索（DLI）提供了丰富的字符串函数，用于处理和转换字符串数据。这些函数包括拼接、大小写转换、截取子串、替换、正则匹配、编码解码、格式转换等。此外，还支持字符串长度计算、位置查找、填充、反转等功能，以及从JSON字符串中提取值的JSON_VAL函数。这些功能广泛应用于数据清洗、文本处理和数据分析场景，为开发者提供强大的工具支持。
有独立的风火水电，AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连，以满足用户跨AZ构建高可用性系统的需求。 项目 区域默认对应一个项目，这个项目由系统预置，用来隔离物理区域间的资源（计算资源、存储资源和网络资源），以默认项目
loomfiter机制，将布隆索引内容写入到Parquet文件的footer中。 Bucket索引：在写入数据过程中，通过主键进行Hash计算，将数据进行分桶写入；该索引写入速度最快，但是需要合理配置分桶数目；Flink、Spark均支持该索引写入。 状态索引：Flink引擎独有
1234500000' DECIMAL(20, 10) 二进制算术 decimal 运算符 支持标准数学运算符。下表说明了结果的精度和范围计算规则。假设x的类型为DECIMAL(xp, xs)，y的类型为DECIMAL(yp, ys)。 运算 结果类型精度 结果类型范围 x + y
keyvalue keyvalue函数用于计算将字符串str按照split1进行切分，并按split2将每组变成Key-Value对，返回key所对应的Value。 命令格式 keyvalue(string <str>,[string <split1>,string <split2>
从checkpoint恢复的原则 通常当作业执行失败、资源异常重启等非人为触发的异常场景时，支持从checkpoint恢复。 但是如果修改了作业的运算逻辑，作业的计算逻辑已发生更改，不支持从checkpoint恢复。 应用场景 本文列举了一些常见的从checkpoint恢复的场景供您参考，如表1所示。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
