检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
语法支持类型 DLI SQL语法支持以下数据类型: STRING,BOOLEAN,BYTES,DECIMAL,TINYINT,SMALLINT,INTEGER,BIGINT,FLOAT,DOUBLE,DATE,TIME,TIMESTAMP,TIMESTAMP WITH LOCAL
自定义函数参数传递 操作场景 如果您的自定义函数需要在多个作业中使用,但对于不同作业某些参数值不同,直接在UDF中修改较为复杂。您可以在Flink OpenSource SQL编辑页面,自定义配置中配置参数pipeline.global-job-parameters,在UDF代码
Hive方言 简介 从Flink 1.11.0 开始,在使用Hive方言时,Flink允许用户用Hive语法来编写SQL语句。通过提供与Hive语法的兼容性,改善与Hive的互操作性,并减少用户需要在Flink和Hive之间切换来执行不同语句的情况。详情可参考:Apache Flink
Redis Redis源表 Redis结果表 Redis维表 父主题: Connector列表
自定义函数参数传递 操作场景 如果您的自定义函数需要在多个作业中使用,但对于不同作业某些参数值不同,直接在UDF中修改较为复杂。您可以在Flink OpenSource SQL编辑页面,自定义配置中配置参数pipeline.global-job-parameters,在UDF代码
修改普通队列的网段 使用增强型跨源时,如果DLI队列的网段和用户数据源的网段发生冲突,您可以通过修改网段操作更改包年包月队列的网段。 如果待修改网段的队列中有正在提交或正在运行的作业,或者该队列已经绑定了增强型跨源,将不支持修改网段操作。 本节操作仅适用于普通队列,不适用于弹性资源池队列。
修改DLI程序包所有者 DLI提供了修改程序包组或程序包的所有者的功能。 登录DLI管理控制台,选择“数据管理 > 程序包管理”。 在“程序包管理”页面,单击程序包“操作 ”列中的“更多 > 修改所有者”。 如果该程序包进行过分组设置,选择“组”或者“程序包”进行修改。 图1 修改程序包所有者
初始化DLI客户端 使用DLI Python SDK工具访问DLI,需要用户初始化DLI客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)或Token两种认证方式初始化客户端,示例代码如下。完整样例代码和依赖包说明请参考:Python
想要使用扫描套餐包计费,购买队列还要额外收费吗? 按数据扫描量计费是针对默认default 队列,即使用default队列时,是按扫描量计费。 您单独购买的队列 ,可选择按需计费(按CU时计费)或包年包月计费。 具体的计费模式请参考:计费说明。 父主题: 计费相关问题
批量删除队列定时扩缩容计划(废弃) 功能介绍 该API用于批量删除队列定时扩缩容计划。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v1/{project_id}/queues/{queue_name}/plans/batch-delete
单个删除队列定时扩缩容计划(废弃) 功能介绍 该API用于删除指定ID的队列定时扩缩容计划。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: DELETE /v1/{project_id}/queues/{queue_name}/plans/{plan_id}
获取跨源认证列表(废弃) 功能介绍 该API用于查看某个project下跨源认证列表。 当前接口已废弃,不推荐使用。推荐使用获取跨源认证列表。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v2.0/{project_id}/datasource/auth-infos
使用DataSource语法创建OBS表 功能描述 本节介绍使用DataSource语法创建OBS表。 DataSource语法和Hive语法主要区别在于支持的表数据存储格式范围、支持的分区数等有差异,详细请参考语法格式和注意事项说明。 推荐使用OBS并行文件系统进行存储。并行文
指定筛选条件删除分区(只支持OBS表) 功能描述 指定筛选条件删除分区表的一个或多个分区。 注意事项 该命令仅支持操作OBS表,不支持对DLI表进行操作。 所要删除分区的表必须是已经存在的表,否则会出错。 所要删除的分区必须是已经存在的,否则会出错,可通过语句中添加“IF EXISTS”避免该错误。
为什么SQL作业一直处于“提交中”? SQL作业一直在提交中,有以下几种可能: 刚购买DLI队列后,第一次进行SQL作业的提交。需要等待5~10分钟,待后台拉起集群后,即可提交成功。 若刚刚对队列进行网段修改,立即进行SQL作业的提交。需要等待5~10分钟,待后台重建集群后,即可提交功。
使用Spark-submit提交Spark Jar作业 DLI Spark-submit简介 DLI Spark-submit是一个用于提交Spark作业到DLI服务端的命令行工具,该工具提供与开源Spark兼容的命令行。 准备工作 授权。 DLI使用统一身份认证服务(Identity
值构建函数 函数说明 表1 值构建函数说明 值构建函数 函数说明 ROW(value1, [, value2]*) (value1, [, value2]*) 根据一系列值创建ROW ARRAY ‘[’ value1 [, value2 ]* ‘]’ 根据一系列值创建数组 MAP
属性访问函数 函数说明 表1 属性访问函数说明 值接入函数 函数说明 tableName.compositeType.field 选择单个字段,通过名称访问Apache Flink复合类型(如Tuple,POJO等)的字段并返回其值。 tableName.compositeType
表值函数 split_cursor string_split 父主题: 内置函数
类型转换函数 语法格式 CAST(value AS type) 语法说明 类型强制转换。 注意事项 若输入为NULL,则返回NULL。 cast函数不支持将字符串转换为json对象类型。 示例一:将amount值转换成整型 将amount值转换成整型。 insert into temp