检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
值构建函数 函数说明 表1 值构建函数说明 值构建函数 函数说明 ROW(value1, [, value2]*) (value1, [, value2]*) 根据一系列值创建ROW ARRAY ‘[’ value1 [, value2 ]* ‘]’ 根据一系列值创建数组 MAP
属性访问函数 函数说明 表1 属性访问函数说明 值接入函数 函数说明 tableName.compositeType.field 选择单个字段,通过名称访问Apache Flink复合类型(如Tuple,POJO等)的字段并返回其值。 tableName.compositeType
值构建函数 函数说明 表1 值构建函数说明 值构建函数 函数说明 -- implicit constructor with parenthesis (value1 [, value2]*) 返回从值列表 (value1, value2, …) 创建的行。隐式行构造函数支持任意表达式作为字段,但至少需要两个字段。
表值函数 string_split 父主题: 内置函数
Map函数和运算符 下表操作符: [] 描述:[]运算符用于从映射中检索与给定键对应的值。 select age_map['li'] from (values (map(array['li','wang'],array[15,27]))) as table_age(age_map);--
在DLI使用Delta提交Spark Jar作业 1. 添加如下依赖 <dependency> <groupId>io.delta</groupId> <artifactId>delta-core_2.12</artifactId> <version>2.3
的形式更加优惠。 自建队列购买方式如下: 购买队列请参考创建队列。 弹性资源池购买方式如下: 具体弹性资源池的购买和添加队列操作可以参考《数据湖探索用户指南》中的“创建弹性资源池”和“弹性资源池添加队列”相关章节。 父主题: 计费相关问题
DLI使用SMN主题,提示SMN主题不存在,怎么处理? 设置DLI Flink作业的运行参数时,勾选“作业异常告警”参数,可在作业出现运行异常或者欠费情况时,将作业异常告警信息,以SMN的方式通知用户。 如果遇到提示SMN主题不存在您可以按照以下步骤进行排查: 确认SMN主题是否已经创建。
split_cursor split_cursor表值函数可以将一行转多行,一列转为多列,仅支持在JOIN LATERAL TABLE中使用。 表1 split_cursor表值函数表 函数 返回值类型 描述 split_cursor(value, delimiter) cursor
对象存储OBS 对象存储OBS源表 对象存储OBS结果表 父主题: Connector列表
表及其分区重新参与生命周期回收,默认使用当前表及分区上的生命周期配置。 开启表生命周期前可以修改表及分区的生命周期配置,防止开启表生命周期后因使用之前的配置导致数据被误回收。 disable 否 禁止表或指定分区的生命周期功能。 禁止表本身及其所有分区被生命周期回收,优先级高于恢复表分区生命周期。即当
Once模式保证每条数据只被消费一次,At Least Once模式每条数据至少被消费一次,请依据业务情况选择。 勾选“异常自动恢复”和“从Checkpoint恢复”,根据自身业务情况选择重试次数。 配置“脏数据策略”,依据自身的业务逻辑和数据特征选择忽略、抛出异常或者保存脏数据。 选择“运行队列”。提交并运行作业。
弹性资源池关联队列 操作场景 参考创建弹性资源池并添加队列创建完弹性资源池后,您可以将已有的队列关联至弹性资源池,即可将弹性资源池的资源用于后续作业的运行 您可以在弹性资源池页面通过“关联队列”将队列添加到弹性资源池。还可以在队列管理页面分配队列至弹性资源池。 弹性资源池Flink版本只支持1
创建DLI表关联OpenTSDB 功能描述 使用CREATE TABLE命令创建DLI表并关联OpenTSDB上已有的metric,该语法支持CloudTable服务的OpenTSDB和MRS服务的OpenTSDB。 前提条件 创建DLI表关联OpenTSDB之前需要创建跨源连接。管理控制台操作请参考增强型跨源连接。
语法定义 DDL语法定义 DML语法定义 父主题: SQL语法约束与定义
Flink OpenSource SQL1.12语法概览 本章节介绍目前DLI所提供的Flink OpenSource SQL1.12语法列表。参数说明,示例等详细信息请参考具体的语法说明。 创建表相关语法 表1 创建表相关语法 语法分类 功能描述 创建源表 DataGen源表 DWS源表
Flink OpenSource SQL1.15语法概览 本章节介绍目前DLI所提供的Flink OpenSource SQL1.15语法列表。参数说明,示例等详细信息请参考具体的语法说明。 创建表相关语法 表1 创建表相关语法 语法分类 功能描述 Format Avro Canal
Opensource SQL使用DEW管理访问凭据 Flink Opensource SQL场景使用DEW管理和访问凭据的操作指导,将Flink作业的输出数据写入到Mysql或DWS时,在connector中设置账号、密码等属性。 Flink Jar 使用DEW获取访问凭证读写OBS 访问OBS的AKSK为例介绍Flink
SQL作业访问报错:DLI.0003: AccessControlException XXX 问题现象 SQL作业访问报错:DLI.0003: AccessControlException XXX。 解决措施 请检查OBS桶权限,确保账号有权限访问报错信息中提到的OBS桶。 如果
DDL语法定义 CREATE TABLE语句 CREATE VIEW语句 CREATE FUNCTION语句 父主题: 语法定义