检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
怎样管理在DLI上运行的作业 管理大量的DLI作业时您可以采用以下方案： 作业分组： 将几万个作业根据不同的类型分组，不同类型的作业通过不同的队列运行。 创建IAM子用户 或者创建IAM子用户，将不同类型的作业通过不同的用户执行。 具体请参考《数据湖探索用户指南》。 此外DLI还提供了作业管理功
表1 参数说明 参数 是否必选 参数类型 说明 colname 是 DOUBLE、DECIMAL、STRING、BIGINT类型。 代表需要排序的列名。 列中元素为DOUBLE类型。 当列中元素非DOUBLE类型时，会隐式转换为DOUBLE类型后参与运算。 返回值说明 返回DOUBLE或DECIMAL类型。
hh代表12小时制时。 mm代表分钟。 ss代表秒。 返回值说明 按指定类型返回STRING类型的日期。 date非DATE或STRING类型时，返回报错，错误信息：data type mismatch。 date为DATE或STRING类型，但不符合日期值的入参格式时，返回NULL。 date值为NULL时，返回NULL。
是否必选 参数类型 说明 col 是 除BOOLEAN外的任意类型。 列值可以为除BOOLEAN外的任意类型。 返回值说明 返回DOUBLE类型的值。 返回值的类型与col类型相同。返回规则如下： col值为NULL时，该行不参与计算。 col为BOOLEAN类型时，不允许参与运算。
是否必选 参数类型 说明 col 是 除BOOLEAN外的任意类型。 列值可以为除BOOLEAN外的任意类型。 返回值说明 返回DOUBLE类型的值。 返回值的类型与col类型相同。返回规则如下： col值为NULL时，该行不参与计算。 col为BOOLEAN类型时，不允许参与运算。
numeric 所有数字类型 返回负数。 A + B 所有数字类型 A和B相加。结果数据类型与操作数据类型相关，例如一个整数类型数据加上一个浮点类型数据，结果数值为浮点类型数据。 A - B 所有数字类型 A和B相减。结果数据类型与操作数据类型相关。 A * B 所有数字类型 A和B相乘。结果数据类型与操作数据类型相关。
创建DLI自定义委托 OBS 2.0支持 自定义镜像 DLI支持容器部署的集群。在容器集群中，Spark作业和Flink作业相关组件都运行在容器中，通过下载DLI提供的自定义镜像，可以改变Spark作业和Flink作业的容器运行环境。例如，在自定义镜像中加入机器学习相关的Python包或者
getResource("userData/fileName") 作业特性 队列为CCE队列时，显示该参数。 基础型 自定义镜像：选择镜像名称和镜像版本。用户可在“容器镜像服务”设置的镜像。具体操作请参考《容器镜像服务用户指南》。 Flink版本 选择Flink版本前，需要先选择所属的队列。推荐选择Flink 1
如果运算的数学结果无法通过结果数据类型的精度和范围精确地表示，则发生异常情况：Value is out of range。 当对具有不同范围和精度的decimal类型进行运算时，值首先被强制转换为公共超类型。对于接近于最大可表示精度 (38) 的类型，当一个操作数不符合公共超类型时，这可能会导致“
安装其他服务SDK依赖。 DLI依赖SDK（例如，OBS SDK），可以通过配置华为云的maven镜像源仓库下载。 （推荐）以华为镜像源作为主仓库： 配置华为maven镜像源的具体方法可参见：华为开源镜像站>选择“华为SDK”>单击“HuaweiCloud SDK”。 使用maven构建时，settings
<length>]) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 str 是 STRING 如果输入为BIGINT、DECIMAL、DOUBLE或DATETIME类型，则会隐式转换为STRING类型后参与运算。 start_position 是 BIGINT 表示起始位置。默认起始位置为1。
DLI常用管理操作 使用自定义镜像增强作业运行环境 管理DLI全局变量 管理Jar作业程序包 管理DLI资源配额
是否必选 参数类型 说明 date 是 DATE 或 STRING 代表需要处理的日期。 格式为： yyyy-mm-dd yyyy-mm-dd hh:mi:ss yyyy-mm-dd hh:mi:ss.ff3 返回值说明 返回INT类型。 date非DATE或STRING类型时，返回报错，错误信息：data
参数说明 参数 是否必选 参数类型 说明 timestamp 是 DATE STRING TINYINT SMALLINT INT BIGINT 代表待处理的时间。 DATE或STRING类型的日期值，或TINYINT、SMALLINT、INT或BIGINT类型的时间戳。 格式： yyyy-mm-dd
nullable 的类型。Flink 将 nullable 的类型映射到 Avro union(something, null)，其中 something 是从 Flink 类型转换的 Avro 类型。 表2 数据类型映射 Flink SQL类型 Avro类型 Avro逻辑类型 CHAR /
数据湖探索的终端节点请参考终端节点。 数据湖探索API请参考：数据湖探索API。 DLI自定义的Spark3.1.1镜像，需要把第三方依赖jar放到哪个路径下呢？ DLI自定义的Spark3.1.1镜像，建议将第三方依赖jar存放/opt/spark/jars目录。 父主题： Spark作业开发类
hh代表小时。 mi代表分钟。 ss代表秒。 返回值说明 返回BIGINT类型。 date非DATE或STRING类型时，返回报错，错误信息：data type mismatch； date为DATE或STRING类型，但不符合日期值的入参格式时，返回NULL； datepart值为NULL时，返回NULL。
是否必选 参数类型 说明 date 是 DATE 或 STRING 代表需要处理的日期。 格式为： yyyy-mm-dd yyyy-mm-dd hh:mi:ss yyyy-mm-dd hh:mi:ss.ff3 返回值说明 返回INT类型 date非DATE或STRING类型时，返回报错，错误信息：data
相似函数：length，length函数用于返回字符串的长度，返回BIGINT类型的值。 命令格式 lengthb(string <str>) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 str 是 STRING 输入的字符串。 返回值说明 返回STRING类型的值。 str非STRING、BIGINT
参数说明 表1 参数说明 参数 是否必选 参数类型 说明 colname 是 STRING类型 代表需要排序的列名。 列中元素为DOUBLE类型。当列中元素非DOUBLE类型时，会隐式转换为DOUBLE类型后参与运算。 p 是 DOUBLE类型 参数a的格式包括浮点数格式、整数格式、字符串格式。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
