-
创建RDS跨源表报空指针错误 - 数据湖探索 DLI
创建RDS跨源表报空指针错误 问题现象 客户创建RDS跨源表失败,报空指针的错误。 原因分析 客户建表语句: CREATE TABLE IF NOT EXISTS dli_to_rds USING JDBC OPTIONS ( 'url'='jdbc:mysql://to-r
-
JDBC源表 - 数据湖探索 DLI
'connector.url' = 'jdbc:mysql://xx.xx.xx.xx:3306/xx', 'connector.table' = 'jdbc_table_name', 'connector.driver' = 'com.mysql.jdbc.Driver', 'connector
-
Flink OpenSource SQL作业开发指南 - 数据湖探索 DLI
Flink OpenSource SQL作业开发指南 从Kafka读取数据写入到RDS 从Kafka读取数据写入到DWS 从Kafka读取数据写入到Elasticsearch 从MySQL CDC源表读取数据写入到DWS 从PostgreSQL CDC源表读取数据写入到DWS F
-
创建JDBC维表 - 数据湖探索 DLI
'connector.url' = 'jdbc:mysql://xx.xx.xx.xx:3306/xx', 'connector.table' = 'jdbc_table_name', 'connector.driver' = 'com.mysql.jdbc.Driver', 'connector
-
创建JDBC维表 - 数据湖探索 DLI
'connector.url' = 'jdbc:mysql://xx.xx.xx.xx:3306/xx', 'connector.table' = 'jdbc_table_name', 'connector.driver' = 'com.mysql.jdbc.Driver', 'connector
-
DWS结果表 - 数据湖探索 DLI
area_id VARCHAR); 参考创建Flink OpenSource作业,创建flink opensource sql作业,输入以下作业运行脚本,提交运行作业。该作业脚本将Kafka作业数据源,将DWS作为结果表。 注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1
-
DWS维表 - 数据湖探索 DLI
'd4', 'e1'); 参考创建Flink OpenSource作业,创建flink opensource sql作业,输入以下作业运行脚本,提交运行作业。该作业脚本将Kafka作为数据源,DWS作为维表,数据输出到Kafka结果表中。 注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1
-
DWS维表 - 数据湖探索 DLI
'd4', 'e1'); 参考创建Flink OpenSource作业,创建flink opensource sql作业,输入以下作业运行脚本,提交运行作业。该作业脚本将Kafka作为数据源,DWS作为维表,数据输出到Kafka结果表中。 注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1
-
创建源表 - 数据湖探索 DLI
创建源表 DataGen源表 DWS源表 Hbase源表 JDBC源表 Kafka源表 MySQL CDC源表 Postgres CDC源表 Redis源表 Upsert Kafka源表 FileSystem源表 父主题: 数据定义语句DDL
-
Debezium Format - 数据湖探索 DLI
9.5.Final", "connector": "mysql", "name": "fullfillment", "server_id" :1, "ts_sec": 1629607909, "gtid": "mysql-bin.000001", "pos": 2238
-
类型转换函数 - 数据湖探索 DLI
link opensource sql作业,输入以下作业运行脚本,提交运行作业。 注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。
-
类型转换函数 - 数据湖探索 DLI
link opensource sql作业,输入以下作业运行脚本,提交运行作业。 注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。
-
Doris结果表 - 数据湖探索 DLI
HASH(`user_id`) BUCKETS 10 参考创建Flink OpenSource作业,创建flink opensource sql作业,输入以下作业脚本,并提交运行。该作业脚本将Datagen作为数据源,将数据写入到Doris作为结果表中。 create table student_datagen_source(
-
Flink OpenSource SQL1.12语法概览 - 数据湖探索 DLI
DWS源表 Hbase源表 JDBC源表 Kafka源表 MySQL CDC源表 Postgres CDC源表 Redis源表 Upsert Kafka源表 创建结果表 BlackHole结果表 ClickHouse结果表 DWS结果表 Elasticsearch结果表 Hbase结果表
-
删除数据库 - 数据湖探索 DLI
参数 描述 db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 示例 已参考示例中描述创建对应的数据库,如testdb。 若存在testdb数据库,则删除数据库testdb。 1 DROP DATABASE IF EXISTS testdb;
-
Postgres CDC源表 - 数据湖探索 DLI
该示例是利用Postgres-CDC实时读取RDS PostgreSQL中的数据,并写入到Print结果表中,其具体步骤如下(当前示例使用的数据库引擎版本是RDS PostgreSQL 11.11): 参考增强型跨源连接,根据PostgreSQL所在的虚拟私有云和子网创建相应的增强型跨
-
Postgres CDC源表 - 数据湖探索 DLI
该示例是利用Postgres-CDC实时读取RDS PostgreSQL中的数据,并写入到Print结果表中,其具体步骤如下(当前示例使用的数据库引擎版本是RDS PostgreSQL 11.11): 参考增强型跨源连接,根据PostgreSQL所在的虚拟私有云和子网创建相应的增强型跨
-
JDBC源表 - 数据湖探索 DLI
'connector.url' = 'jdbc:mysql://xx.xx.xx.xx:3306/xx', 'connector.table' = 'jdbc_table_name', 'connector.driver' = 'com.mysql.jdbc.Driver', 'connector
-
删除数据库 - 数据湖探索 DLI
参数 描述 db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 示例 已参考示例中描述创建对应的数据库,如testdb。 若存在testdb数据库,则删除数据库testdb。 1 DROP DATABASE IF EXISTS testdb;
-
作业运维报错 - 数据湖探索 DLI
size too small. size SQL作业运行报错:DLI.0002 FileNotFoundException 用户通过CTAS创建hive表报schema解析异常错误 在DataArts Studio上运行DLI SQL脚本,执行结果报org.apache.hadoop