云服务器内容精选

华为云首页用户手册

Flink SQL作业类

数据湖探索 DLI-怎样将OBS表映射为DLI的分区表？:操作步骤

操作步骤该示例将car_info数据，以day字段为分区字段，parquet为编码格式，转储数据到OBS。更多内容请参考《数据湖探索 Flink SQL语法参考》。 1 2 3 4 5 6 7 8 9 10 11 12 13 create sink stream car_infos ( carId string, carOwner string, average_speed double, day string ) partitioned by (day) with ( type = "filesystem", file.path = "obs://obs-sink/car_infos", encode = "parquet", ak = "{{myAk}}", sk = "{{mySk}}" ); 数据最终在OBS中的存储目录结构为：obs://obs-sink/car_infos/day=xx/part-x-x。数据生成后，可通过如下SQL语句建立OBS分区表，用于后续批处理：创建OBS分区表。 1 2 3 4 5 6 7 8 create table car_infos ( carId string, carOwner string, average_speed double ) partitioned by (day string) stored as parquet location 'obs://obs-sink/car-infos'; 从关联OBS路径中恢复分区信息。 1 alter table car_infos recover partitions;

数据湖探索 DLI Flink SQL作业类
数据湖探索 DLI-作业语义检验时提示DIS通道不存在怎么处理？

作业语义检验时提示DIS通道不存在怎么处理？处理方法如下：登录到DIS管理控制台，在左侧菜单栏选择“通道管理”。检查Flink作业SQL语句中的DIS通道是否存在。如果Flink作业中的DIS通道还未创建，请参见《数据接入服务用户指南》中“开通DIS通道”章节。确保创建的DIS通道和Flink作业处于统一区域。如果DIS通道已创建，则检查确保DIS通道和Flink流作业是否处与同一区域。父主题： Flink SQL作业类

数据湖探索 DLI Flink SQL作业类
数据仓库服务 GAUSSDB(DWS)-Flink SQL概述

Flink SQL概述 DWS-connector主要实现了DynamicTableSourceFactory和DynamicTableSinkFactory接口，可用于对接 GaussDB (DWS)表作为Flink作业的源表、结果表和维表。使用DWS-Connector做源表时，DWS-Connector实现了SupportsLimitPushDown和SupportsFilterPushDown接口，支持将limit和where条件下推到数据库执行。使用DWS-Connector做结果表时，SQL语法格式可能在不同Flink环境下有细微差异，具体以事件环境格式为准。详情请参见做源表、做结果表和做维表。父主题： Flink SQL作业类型

数据仓库服务 GAUSSDB(DWS) Flink SQL作业类型