检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DML语法定义 DML语句 语法定义 INSERT INTO table_name [PARTITION part_spec] query part_spec: (part_col_name1=val1 [, part_col_name2=val2, ...]) query:
DML语法定义 约束限制 Flink SQL 对于标识符(表、属性、函数名)有类似于 Java 的词法约定: 不管是否引用标识符,都保留标识符的大小写。 且标识符需区分大小写。 与 Java 不一样的地方在于,通过反引号,可以允许标识符带有非字母的字符(如:"SELECT a AS
DATE_FORMAT (order_time, 'yyyyMMdd') from orderSource; 配置作业运行参数: 选择队列,并配置Flink版本至少为1.15。 配置权限足够的委托。 配置OBS桶。 开启Checkpoint,使用Hudi时必须开启Checkpoint。
Array of Long 作业ID列表。 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 请求是否成功。 message 否 String 消息内容。 metrics 否 Object 作业列表信息。具体请参考表4。 表4 payload参数说明
-------------- [100$, 200$] [30$, 4$] (2 rows) 在对数组元素进行运算时,也能获取其它列来参与运算。例如使用transform()来计算线性方程f(x) =ax + b: SELECT xvalues, a, b, transform(xvalues
DING PROPERTIES属性。 PARTITIONED BY能够用于指定分区的列;CLUSTERED BY能够被用于指定分桶的列;SORT BY和 SORTED BY能够用于给指定的分桶列进行排序;BUCKETS能够被用于指定分桶数;EXTERNAL可用于指定创建外部表;STORED
恢复消费位点及状态。同时,由于Flink Checkpoint和Savepoint生成机制及格式一致,因而,也可以通过Flink作业列表“操作”列中的“更多”>“导入保存点”,导入OBS中最新成功的Checkpoint,并从中恢复。 图3 停止作业 图4 恢复保存点 父主题: Flink作业性能调优类
您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联DCS之前需要创建跨源连接,绑定队列。管理控制台操作请参考增强型跨源连接。 语法格式 指定Key 1 2 3 4 5 6 7 8 9 10 11 CREATE
FileSytem结果表 功能描述 FileSystem结果表用于将数据输出到分布式文件系统HDFS或者对象存储服务OBS等文件系统。数据生成后,可直接对生成的目录创建非DLI表,通过DLI SQL进行下一步处理分析,并且输出数据目录支持分区表结构。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。
在管理控制台左侧,单击“SQL编辑器”。 在“SQL编辑器”页面的左侧导航栏中,选择“数据库”页签。 鼠标左键单击对应数据库名,进入该数据库的表列表。 鼠标左键单击对应表右侧的,在列表菜单中选择“表属性”,单击“预览”页签,即可预览该表数据。 父主题: 在DLI控制台管理表资源
允许DLI按表生命周期清理数据的委托名称必须为dli_data_clean_agency。 仅Flink 1.15和Spark 3.3.1(Spark通用队列场景)及以上版本的引擎执行作业支持配置自定义委托。 更新委托权限后,系统将升级您的dli_admin_agency为dli_manageme
11版本停止服务后,正在使用该版本的作业有哪些影响? 在Flink 1.10、Flink1.11EOS时间后创建的对队列,在执行作业时不支持选择已经EOS的计算引擎。 历史创建的队列仍然可以使用Flink 1.10、Flink1.11执行作业,但作业执行过程中出现的错误,不再提供该版本的任
参考如何合并小文件完成合并小文件。 支持修改非分区表或分区表的列注释 修改非分区表或分区表的列注释。 支持统计SQL作业的CPU消耗 支持在控制台查看“CPU累计使用量”。 支持容器集群Spark日志跳转查看 需要在容器查看日志。 支持动态加载UDF(公测) 无需重启队列UDF即可生效。 Spark UI支持火焰图
参考如何合并小文件完成合并小文件。 支持修改非分区表或分区表的列注释 修改非分区表或分区表的列注释。 支持统计SQL作业的CPU消耗 支持在控制台查看“CPU累计使用量”。 支持容器集群Spark日志跳转查看 需要在容器查看日志。 支持动态加载UDF(公测) 无需重启队列UDF即可生效。 Spark UI支持火焰图
OpenSource SQL1.15语法概览 Flink OpenSource SQL 1.15版本使用说明 Format Connector列表 数据操作语句DML 函数
此问题的原因是如果不指定列名,则会把SELECT后的内容同时作为列名和插入值,而AVRO格式的表不支持列名为数字,所以会报解析schema异常错误。 您可以通过“CREATE TABLE tb_avro STORED AS AVRO AS SELECT 1 AS colName”指定列名的方式解
作业名称。长度限制:0-57个字符。 desc 否 String 作业描述。长度限制:0-512个字符。 queue_name 否 String 队列名称。长度限制:0-128个字符。 sql_body 否 String Stream SQL语句,至少包含source, query, si
4.x与Spark 3.3.x版本差异对比 Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比 Spark 2.4.x与Spark 3.3.x版本在通用队列的差异对比 DLI datasourceV1表和datasourceV2表 父主题: 版本支持公告
nnnn-nnnn-nnnn-4321 (1 row)) mask_hash(string|char|varchar str) →varchar 描述:返回基于str的散列值。散列是一致的,可以用于跨表连接被屏蔽的值。对于非字符串类型,返回NULL。 select mask_hash('panda');
3.1-3.0.0版本SQL不支持的Delta表相关开源语法 不支持的语法 示例 ALTER TABLE REPLACE COLUMNS替换列 alter table table0 replace columns(id1 int,name1 string); SHOW CREATE