检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
n环境。 可以通过在conf文件中，设置spark.yarn.appMasterEnv.PYSPARK_PYTHON=python3，指定计算集群环境为Python3环境。 目前，新建集群环境均已默认为Python3环境。 父主题： Spark作业开发类
1.15升级指导。 切换至新版本计算引擎对DLI资源价格是否有影响？ DLI按作业运行所需的计算资源和存储资源计费，与计算引擎版本无关。 如何升级到Flink 1.15版本？ 在DLI管理控制台，购买弹性资源池和队列资源，用于提供执行作业所需的计算资源。 在DLI管理控制台，单击“作业管理
1.12升级指导。 切换至新版本计算引擎对DLI资源价格是否有影响？ DLI按作业运行所需的计算资源和存储资源计费，与计算引擎版本无关。 如何升级到Flink 1.12版本？ 在DLI管理控制台，购买弹性资源池和队列资源，用于提供执行作业所需的计算资源。 在DLI管理控制台，单击“作业管理
57字节。 说明： 作业名称必须是唯一的。 描述 作业的相关描述，且长度为0～512字节。 标签 使用标签标识云资源。包括标签键和标签值。如果您需要使用同一标签标识多种云资源，即所有服务均可在标签输入框下拉选择同一标签，建议在标签管理服务（TMS）中创建预定义标签。 如您的组织已
数据类型为数值的列。其他类型返回NULL。 p 是 0<=P<=1,否则返回NULL。 返回值说明 返回DOUBLE类型的值。 0<=P<=1,否则返回NULL。 示例代码 计算所有商品库存（items）的 0.5 百分位。命令示例如下： select percentile(items,0.5) from warehouse;
参数说明 参数 是否必选 说明 col 是 数据类型为数值的列。其他类型返回NULL。 返回值说明 返回DOUBLE类型的值。 示例代码 计算所有商品库存（items）的偏差。命令示例如下： select stddev_pop(items) from warehouse; 返回结果如下：
参数说明 参数 是否必选 说明 col 是 数据类型为数值的列。 其他类型返回NULL。 返回值说明 返回DOUBLE类型的值。 示例代码 计算所有商品库存（items）的样本方差。命令示例如下： select var_samp(items) from warehouse; 返回结果如下：
有影响，映射后的数据类型发生变化。 不再支持混合使用年月字段和日时间字段 说明： Spark2.4.x：单位列表间隔文字可以混合使用年月字段（YEAR 和 MONTH）和日时间字段（WEEK、DAY、...、MICROSECOND）。 Spark3.3.x：单位列表间隔文字不能混合使用年月字段（YEAR
NYINT、FLOAT、DECIMAL类型 数据类型为数值的列。其他类型返回NULL。 返回值说明 返回DOUBLE类型的值。 示例代码 计算所有商品库存（items）和价格（price）的相关系数。命令示例如下： select corr(items,price) from warehouse;
regexp_substr regexp_substr函数用于计算从start_position位置开始，source中第occurrence次匹配指定pattern的子串。 命令格式 regexp_substr(string <source>, string <pattern>[
rank rank函数用于计算一个值在一组值中的排位。如果出现并列的情况，RANK函数会在排名序列中留出空位。 使用限制 窗口函数的使用限制如下： 窗口函数只能出现在select语句中。 窗口函数中不能嵌套使用窗口函数和聚合函数。 窗口函数不能和同级别的聚合函数一起使用。 命令格式
使用DLI提交作业前，您需要为提交作业准备所需的计算资源。 · 弹性资源池和队列：弹性资源池为DLI作业运行提供所需的计算资源（CPU和内存），灵活应对业务对计算资源变化的需求。同一弹性资源池中，队列之间的计算资源支持共享。通过合理设置队列的计算资源分配策略，可以提高计算资源利用率。 · defau
datepart datepart函数用于计算日期date中符合指定时间单位datepart的值。 命令格式 datepart（string date，string datepart） 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 date 是 DATE 或 STRING
lengthb lengthb函数用于计算字符串str以字节为单位的长度。 相似函数：length，length函数用于返回字符串的长度，返回BIGINT类型的值。 命令格式 lengthb(string <str>) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 str
OPTIMIZE命令用于优化数据在存储中的布局，提高查询速度。 注意事项 由于Optimize是一项耗时的活动，因此需要根据更好的最终用户查询性能与优化计算时间之间的权衡来确定运行Optimized的频率。 分区表优化需要设置参数spark.sql.forcePartitionPredicat
Bitwise函数 bit_count(x, bits) → bigint 计算2的补码表示法中x中设置的位数（视为有符号位的整数）。 SELECT bit_count(9, 64); -- 2 SELECT bit_count(9, 8); -- 2 SELECT bit_count(-7
Python SDK环境配置 操作场景 在进行二次开发时，要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统，推荐Windows 7及以上版本。 安装Python Python版本建议使用2.7.10和3.4.0以上版本，需要配置Visual
regexp_instr regexp_instr函数用于计算字符串source从start_position开始，与pattern第occurrence次匹配的子串的起始或结束位置。 命令格式 regexp_instr(string <source>, string <pattern>[
from_unixtime from_unixtime函数用于计算将数字型的UNIX值代表的时间戳转换为日期值。 命令格式 from_unixtime(bigint unixtime) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 unixtime 是 BIGINT
from_utc_timestamp from_utc_timestamp函数用于计算将UTC的时间戳转化为timezone所对应的UNIX格式的时间戳。 命令格式 from_utc_timestamp(string timestamp, string timezone) 参数说明
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
