检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
image 否 String 自定义镜像。格式为:组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时,该参数生效。用户可通过与“feature”参数配合使用,指定作业运行使用自定义的Flink镜像。关于如何使用自定义镜像,请参考《数据湖探索用户指南》。 feature
feature 否 String 队列使用的镜像类型。支持以下两种类型: basic:基础型 ai:AI增强型(仅SQL的x86_64专属队列支持选择) 默认值为“basic”。 说明: AI增强型即队列加载了AI镜像,该镜像在基础镜像的基础上集成了AI相关的算法包。 tags 否
feature 否 String 队列的镜像类型。支持以下两种类型: basic:基础型 ai:AI增强型(仅SQL的x86_64专属队列支持选择) 默认值为“basic”。 说明: AI增强型即队列加载了AI镜像,该镜像在基础镜像的基础上集成了AI相关的算法包。 resource_type
“所属队列”选择CCE队列时,设置该参数。表示用户作业使用的Spark镜像类型,具体说明如下: 基础型:DLI提供的基础镜像,运行非AI相关作业时选择“基础型”。 自定义镜像:自定义的Spark镜像,需要选择“容器镜像服务”中设置的镜像名称及版本。 依赖jar包(--jars) 运行spark
'', 'password' = '' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 说明 connector 是 无 String connector类型,需配置为'gaussdb'。 url 是 无 String jdbc连接地址。“url”参数中的ip地址请使用DWS的内网地址。
Flink镜像的版本。 image 否 String 自定义镜像。格式为:组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时,该参数生效。用户可通过与“feature”参数配合使用,指定作业运行使用自定义的Flink镜像。关于如何使用自定义镜像,请参考《数据湖探索用户指南》。
Flink镜像的版本。 image 否 String 自定义镜像。格式为:组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时,该参数生效。用户可通过与“feature”参数配合使用,指定作业运行使用自定义的Flink镜像。关于如何使用自定义镜像,请参考《数据湖探索用户指南》。
但首尾不能含有空格。 表4 columns参数 参数名称 是否必选 参数类型 说明 column_name 是 String 列的名称。 type 是 String 列的数据类型。具体支持的数据类型请参考数据类型。 description 否 String 列的描述信息。 is_partition_column
您还可以通过自定义镜像增强DLI的计算环境,通过下载DLI提供的基础镜像再按需制作自定义镜像,将作业运行需要的依赖(文件、jar包或者软件)、私有能力等内置到自定义镜像中,可以改变Spark作业和Flink作业的容器运行环境,增强作业的功能、性能。 例如,在自定义镜像中加入机器学习相
image 否 String 自定义镜像。格式为:组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时,该参数生效。用户可通过与“feature”参数配合使用,指定作业运行使用自定义的Flink镜像。关于如何使用自定义镜像,请参考《数据湖探索用户指南》。 feature
返回规则如下: number为DOUBLE、DECIMAL类型时会返回相应的类型。 number为STRING、BIGINT类型时,返回DOUBLE类型。 decimal_places非BIGINT类型时,返回报错。 number值为NULL时,返回NULL。 示例代码 返回 3.141。 select
线(_)组成。不能是纯数字,且不能以下划线开头。 table_name 表名称。 col_name 列字段名称。 col_type 列字段类型。 col_comment 列描述。 注意事项 该SQL不建议并发执行,并发情况下添加列结果可能互相覆盖。 示例 1 ALTER TABLE
HetuEngine会将数字和字符值隐式转换成正确的类型。HetuEngine不会把字符和数字类型相互转换。例如,一个查询期望得到一个varchar类型的值,HetuEngine不会自动将bigint类型的值转换为varchar类型。 如果有必要,可以将值显式转换为指定类型。 cast(value AS
data_type 格式 无。 说明 数据类型,当前只支持原生数据类型。 父主题: 标示符
步骤4:注册ModelArts自定义镜像 基于ModelArts提供的MindSpore预置镜像,并借助ModelArts命令行工具,通过加载镜像构建模板并修改Dockerfile,构建出一个新镜像,最后注册后在Notebook使用。 ModelArts命令行工具请参考ma-cli镜像构建命令介绍。 基础镜像地址:swr
1所示。 表3 自定义模板列表参数 参数 参数说明 名称 模板名称,只能由英文、中文、数字、中划线和下划线组成,并且长度为1~64个字符。 类型 模板类型。 Flink SQL作业模板 Flink OpenSource SQL作业模板 描述 模板的相关描述,且长度为0~512个字符。 创建时间
关系运算符 所有数据类型都可用关系运算符进行比较,并返回一个BOOLEAN类型的值。 关系运算符均为双目操作符,被比较的两个数据类型必须是相同的数据类型或者是可以进行隐式转换的类型。 DLI提供的关系运算符,请参见表1。 表1 关系运算符 运算符 返回类型 描述 A = B BOOLEAN
公共参数 状态码 错误码 获取项目ID 获取账号ID
numeric 所有数字类型 返回负数。 A + B 所有数字类型 A和B相加。结果数据类型与操作数据类型相关,例如一个整数类型数据加上一个浮点类型数据,结果数值为浮点类型数据。 A - B 所有数字类型 A和B相减。结果数据类型与操作数据类型相关。 A * B 所有数字类型 A和B相乘。结果数据类型与操作数据类型相关。
怎样管理在DLI上运行的作业 管理大量的DLI作业时您可以采用以下方案: 作业分组: 将几万个作业根据不同的类型分组,不同类型的作业通过不同的队列运行。 创建IAM子用户 或者创建IAM子用户,将不同类型的作业通过不同的用户执行。 具体请参考《数据湖探索用户指南》。 此外DLI还提供了作业管理功