检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
计费概述 数据湖探索DLI的计费由不同的计费项组成,不同的计费项有不同的计费模式,如图1所示。 图1 DLI的计费组成 计费项 DLI的计费项包括计算计费、存储计费、扫描量计费。DLI的计费详情请参见DLI产品价格详情。您可以通过DLI提供的价格计算器,快速计算出购买资源的参考价格。
怎样升级DLI作业的引擎版本 DLI提供了Spark和Flink计算引擎,为用户提供了一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务,当前,Flink计算引擎推荐版本:Flink 1.15,Spark计算引擎推荐版本: Spark 3.3.1。 本节操作介绍如何升级作业的引擎版本。
产品规格 弹性资源池产品规格 弹性资源池为DLI作业运行提供所需的计算资源(CPU和内存)。弹性资源池的单位为CU,1CU包含1CPU和4GB内存。 您可以在弹性资源池中创建多个队列, 队列之间的计算资源支持共享。 通过合理设置队列的计算资源池分配策略,提高计算资源利用率。 DL
可视化智能调优界面。 学习成本高,需要了解上百个调优参数。 支持数据源 云上:OBS、RDS、DWS、CSS、MongoDB、Redis。 云下:自建数据库、MongoDB、Redis。 云上:OBS。 云下:HDFS。 生态兼容 DLV、永洪BI、帆软。 大数据生态工具。 自定义镜像
分组聚合 聚合函数把多行输入数据计算为一行结果。例如,有一些聚合函数可以计算一组行的 “COUNT”、“SUM”、“AVG”(平均)、“MAX”(最大)和 “MIN”(最小)。 对于流式查询,用于计算查询结果的状态可能无限膨胀。状态的大小大多数情况下取决于去重行的数量和分组持续的时间,持续时间较短的
e e函数用于计算返回e的值。 命令格式 e() 返回值说明 返回DOUBLE类型的值。 示例代码 返回2.718281828459045。 select e(); 父主题: 数学函数
两种不同的计费模式的消费情况。 此案例中的单价仅为示例,且计算出的费用为估算值。单价的变动和实际场景中计算出来的费用可能会有偏差。请以华为云官网发布的数据为准。 计费模式 计算规则 付费周期 费用计算 按需计费(专属) 计算费用:计算费用=单价*CU数*小时数 1个月 计算费用:0
count count函数用于返回记录条数。 命令格式 count([distinct|all] <colname>) 参数说明 表1 参数说明 参数 是否必选 说明 distinct或all 否 表示在计数时是否去除重复记录,默认为all,即计算全部记录。 如果指定distinct,则只计算唯一值数量。
怎样查看弹性资源池和作业的资源使用情况? 在大数据分析的日常工作中,合理分配和管理计算资源,可以提供良好的作业执行环境。 您可以根据作业的计算需求和数据规模分配资源、调整任务执行顺序,调度不同的弹性资源池或队列资源以适应不同的工作负载。待提交作业所需的CUs需小于等于弹性资源池的
max max函数用于返回最大值。 命令格式 max(col) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 col 是 除BOOLEAN外的任意类型。 列值可以为除BOOLEAN外的任意类型。 返回值说明 返回DOUBLE类型的值。 返回值的类型与col类型相同。返回规则如下:
length length函数用于返回字符串的长度。 相似函数:lengthb,lengthb函数用于计算字符串str以字节为单位的长度,返回STRING类型的值。 命令格式 length(string <str>) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 str
min min函数用于返回最小值。 命令格式 min(col) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 col 是 除BOOLEAN外的任意类型。 列值可以为除BOOLEAN外的任意类型。 返回值说明 返回DOUBLE类型的值。 返回值的类型与col类型相同。返回规则如下:
cos cos函数用于计算a的余弦值,输入为弧度 命令格式 cos(DOUBLE a) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数a的格式包括浮点数格式、整数格式、字符串格式。 参数a非D
Flink 1.12版本说明 数据湖探索(DLI)遵循开源Flink计算引擎的发布一致性。本文介绍Flink 1.12版本所做的变更说明。 更多Flink 1.12版本说明请参考Release Notes - Flink 1.12。 Flink 1.12版本发布时间 版本名称 发布时间
sin sin函数用于计算a的正弦值,输入为弧度。 命令格式 sin(DOUBLE a) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数a的格式包括浮点数格式、整数格式、字符串格式。 参数a非
tan tan函数用于计算a的正切值,输入为弧度。 命令格式 tan(DOUBLE a) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数a的格式包括浮点数格式、整数格式、字符串格式。 参数a非
Flink 1.15版本说明 数据湖探索(DLI)遵循开源Flink计算引擎的发布一致性。本文介绍Flink 1.15版本所做的变更说明。 更多Flink 1.15版本说明请参考Release Notes - Flink Jar 1.15、Flink OpenSource SQL1
Spark 2.4.5版本说明 数据湖探索(DLI)遵循开源Spark计算引擎的发布一致性。本文介绍Spark 2.4.5版本所做的变更说明。 更多Spark 2.4.5版本说明请参考Spark Release Notes。 Spark 2.4.5版本发布时间 版本名称 发布时间
DLI预置的SQL模板中TPC-H样例数据说明 TPC-H样例数据简介 TPC-H(商业智能计算测试) 是交易处理效能委员会(TPC,Transaction Processing Performance Council) 组织制定的用来模拟决策支持类应用的一个测试集。目前,在学术
datediff datediff函数用于计算两个时间date1、date2的日期差值。 相似函数:datediff1,datediff1函数用于计算两个时间date1、date2的差值,将差值以指定的时间单位datepart表示。 命令格式 datediff(string date1