检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi查询类型 快照查询 快照查询(Snapshot Queries)可以读到最新的commit/compaction产生的快照。对于MOR表,还会在查询中合并最新的delta log文件的内容,使读取的数据近实时。 增量查询 增量查询(Incremental Queries)
作业特性。表示用户作业使用的Spark镜像类型。 custom:表示使用用户自定义的Spark镜像。 spark_version 否 String 作业使用Spark组件的版本号。 如果当前Spark组件版本为2.3.2,则不填写该参数。 image 否 String 自定义镜像。格式为:组织名/镜像名:镜像版本。
数据类型 概述 原生数据类型 复杂数据类型
类型转换函数 语法格式 CAST(value AS type) 语法说明 类型强制转换。 注意事项 若输入为NULL,则返回NULL。 cast函数不支持将字符串转换为json对象类型。 示例一:将amount值转换成整型 将amount值转换成整型。 insert into temp
语法支持类型 DLI支持以下数据类型: CHAR, VARCHAR, STRING, BOOLEAN, BINARY, VARBINARY, BYTES, DECIMAL, TINYINT, SMALLINT, INTEGER, BIGINT, FLOAT, DOUBLE, DATE
创建DLI自定义委托 OBS 2.0支持 自定义镜像 DLI支持容器部署的集群。在容器集群中,Spark作业和Flink作业相关组件都运行在容器中,通过下载DLI提供的自定义镜像,可以改变Spark作业和Flink作业的容器运行环境。例如,在自定义镜像中加入机器学习相关的Python包或者
1所示。 表3 自定义模板列表参数 参数 参数说明 名称 模板名称,只能由英文、中文、数字、中划线和下划线组成,并且长度为1~64个字符。 类型 模板类型。 Flink SQL作业模板 Flink OpenSource SQL作业模板 描述 模板的相关描述,且长度为0~512个字符。 创建时间
线(_)组成。不能是纯数字,且不能以下划线开头。 table_name 表名称。 col_name 列字段名称。 col_type 列字段类型。 col_comment 列描述。 注意事项 该SQL不建议并发执行,并发情况下添加列结果可能互相覆盖。 示例 1 ALTER TABLE
'', 'password' = '' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 说明 connector 是 无 String connector类型,需配置为'gaussdb'。 url 是 无 String jdbc连接地址。“url”参数中的ip地址请使用DWS的内网地址。
feature String 作业特性。表示用户作业使用的Spark镜像类型。 basic:表示使用DLI提供的基础Spark镜像。 custom:表示使用用户自定义的Spark镜像。 ai:表示使用DLI提供的AI镜像。 spark_version String 作业使用Spark组件的版本号。
批处理作业所属代理用户(资源租户)。 kind 否 String 批处理作业类型,只支持spark类型参数。 queue 否 String 批处理作业所在队列。 image 否 String 自定义镜像。格式为:组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时,该参
为了确保您的个人敏感数据(例如用户名、密码、手机号码等)不被未经过认证、授权的实体或者个人获取,DLI对用户数据的存储和传输进行加密保护,以防止个人数据泄露,保证您的个人数据安全。 数据销毁机制 用户删除DLI队列后,存储在集群上的用户个人敏感数据会随之删除。 用户在控制台上删除填写的手机号、邮箱,并关闭消
您还可以通过自定义镜像增强DLI的计算环境,通过下载DLI提供的基础镜像再按需制作自定义镜像,将作业运行需要的依赖(文件、jar包或者软件)、私有能力等内置到自定义镜像中,可以改变Spark作业和Flink作业的容器运行环境,增强作业的功能、性能。 例如,在自定义镜像中加入机器学习相
image 否 String 自定义镜像。格式为:组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时,该参数生效。用户可通过与“feature”参数配合使用,指定作业运行使用自定义的Flink镜像。关于如何使用自定义镜像,请参考《数据湖探索用户指南》。 feature
image 否 String 自定义镜像。格式为:组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时,该参数生效。用户可通过与“feature”参数配合使用,指定作业运行使用自定义的Flink镜像。关于如何使用自定义镜像,请参考《数据湖探索用户指南》。 feature
概述 数据类型是数据的一个基本属性,用于区分不同类型的数据。不同的数据类型所占的存储空间不同,能够进行的操作也不相同。数据库中的数据存储在表中。表中的每一列都定义了数据类型,用户存储数据时,须遵从这些数据类型的属性,否则可能会出错。 DLI当前只支持原生数据类型。 父主题: 数据类型
feature 否 String 队列使用的镜像类型。支持以下两种类型: basic:基础型 ai:AI增强型(仅SQL的x86_64专属队列支持选择) 默认值为“basic”。 说明: AI增强型即队列加载了AI镜像,该镜像在基础镜像的基础上集成了AI相关的算法包。 tags 否
步骤4:注册ModelArts自定义镜像 基于ModelArts提供的MindSpore预置镜像,并借助ModelArts命令行工具,通过加载镜像构建模板并修改Dockerfile,构建出一个新镜像,最后注册后在Notebook使用。 ModelArts命令行工具请参考ma-cli镜像构建命令介绍。 基础镜像地址:swr
用户在创建Flink作业时,可以通过如下配置实现流应用的高可靠性能。 用户在消息通知服务(SMN)中提前创建一个“主题”,并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知,单击链接确认订阅即可。 图1 创建主题 图2 添加订阅 登录DLI控制台,创建Flink SQL
feature 否 String 队列的镜像类型。支持以下两种类型: basic:基础型 ai:AI增强型(仅SQL的x86_64专属队列支持选择) 默认值为“basic”。 说明: AI增强型即队列加载了AI镜像,该镜像在基础镜像的基础上集成了AI相关的算法包。 resource_type