检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Flink SQL作业中创建表使用EL表达式,作业运行提示DLI.0005错误怎么办? 问题现象 Flink SQL作业创建表时,表名使用EL表达式,运行作业时报如下错误: DLI.0005: AnalysisException: t_user_message_input_#{
对接RDS scala样例代码 pyspark样例代码 java样例代码 父主题: 使用Spark作业跨源访问数据源
ESTORE TABLE命令恢复表或分区数据到指定版本。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。 语法格式 恢复非分区表数据到指定版本的备份数据 RESTORE
增强型跨源连接ID:在DLI管理控制台的“增强型跨源连接”列表页获取“连接ID”即为增强型跨源连接ID。 数据库ID:添加标签时候传入的数据库ID即数据库名。您可以在DLI控制台的“库表管理”页面查看数据库名称。 Flink作业ID:在DLI管理控制台的“Flink作业”列表页面单击Flink作业名称,在F
SQL语句执行所在的数据库。当创建新数据库时,不需要提供此参数。 current_catalog 否 String 待提交作业的表的默认catalog。不填时默认使用DLI catalog。 queue_name 否 String 待提交作业的队列名称,名称只能包含数字、英文字母和
Hudi表概述 Hudi表使用约束 Hudi查询类型 Hudi存储结构
Redis Redis源表 Redis结果表 Redis维表 父主题: Connector列表
owner 是 String 表创建者。 table_name 是 String 表名称。 table_size 是 Long DLI表的大小。非DLI表该参数值为0。 table_type 是 String 表类型。 OBS表为EXTERNAL DLI表为MANAGED View为VIEW
表别名 功能描述 给表或者子查询结果起别名。 语法格式 1 SELECT attr_expr_list FROM table_reference [AS] alias; 关键字 table_reference:可以是表,视图或者子查询。 AS:可用于连接table_refere
查询Oracle表 功能描述 SELECT命令用于查询Oracle表中的数据。 语法格式 1 SELECT * FROM table_name LIMIT number; 关键字 LIMIT:对查询结果进行限制,number参数仅支持INT类型。 注意事项 如果在建表时没有指定sc
长度,属性名2:长度。 Cols 通过逗号分隔的DLI表字段与HBase表的列之间的对应关系。其中,冒号前面放置DLI表字段,冒号后面放置HBase表信息,用‘.’分隔HBase表的列族与列名。 注意事项 若所要创建的表已经存在将报错,可以通过添加IF NOT EXISTS参数跳过该错误。
DLI_TABLE 已创建跨源连接的DLI表名称。 DLI_TEST 为包含待查询数据的表。 field1,field2...,field 表“DLI_TEST”中的列值,需要匹配表“DLI_TABLE”的列值和类型。 where_condition 查询过滤条件。 num 对查询结果进行限制,num参数仅支持INT类型。
在添加列或者修改分区表时,也可以设置表属性“dli.multi.version.retention.days”调整保留周期。 开启和关闭多版本功能SQL语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。
[OPTIONS(key1=value1)] select_statement; 关键字 USING:指定所存储格式。 OPTIONS:导出时的属性列表,为可选项。 参数 表1 INSERT OVERWRITE DIRECTORY参数描述 参数 描述 path 要将查询结果写入的OBS路径。 file_format
怎样修改DLI上已经创建好的表的字段名称? DLI本身不支持直接修改表的字段名称,但您可以通过以下步骤来解决这个问题表数据迁移的方式来解决该问题: 创建新表:创建一个新表,并定义新的表字段名称。 迁移数据:使用INSERT INTO ... SELECT语句将旧表的数据迁移到新表中。 删除旧表:在确保
步骤3:创建DWS数据库和表:创建DWS数据库和表信息。 步骤4:创建增强型跨源连接:DLI上创建连接Kafka和DWS的跨源连接,打通网络。 步骤5:运行作业:DLI上创建和运行Flink OpenSource作业。 步骤6:发送数据和查询结果:Kafka上发送流数据,在RDS上查看运行结果。
启动作业后,系统将自动跳转到Flink作业管理页面,新创建的作业将显示在作业列表中,在“状态”列中可以查看作业状态。作业提交成功后,状态将由“提交中”变为“运行中”。运行完成后显示“已完成”。 如果作业状态为“提交失败”或“运行异常”,表示作业提交或运行失败。用户可以在作业列表中的“状态”列中,将鼠标移动到状态图标上
HH:mm:ss 注意事项 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。 该命令不会删除当前版本数据。 示例 删除dliTable表在2021-09-25 23:59:59之前生成的多版本数据(多版本生成时会自带一个生成时间时的时间戳)。
Delta表的存储位置,当前版本必须指定,且只支持obs路径,指定该路径Delta 表会创建为外表。 所需权限 SQL权限 表2 CREATE TABLE所需权限列表 权限描述 数据库的CREATE_TABLE权限 细粒度权限:dli:database:createTable L
enable 是否开启库表数据缓存,开启后自动缓存库表信息。默认为true。 true:开启 false:不开启 否 true kyuubi.engine.dli.cache.limit.line.num 配置缓存的最大条数。 默认缓存10万条。 配置为-1代表不限制缓存的最大条数。