云服务器内容精选

华为云首页用户手册

使用CDL

MAPREDUCE服务 MRS-CDL数据集成概述:CDL同步任务支持的数据类型及映射关系

CDL同步任务支持的数据类型及映射关系主要介绍CDL同步任务支持的数据类型，以及源端数据库数据类型跟Spark数据类型的映射关系。表3 PgSQL和Spark数据类型映射关系 PostgreSQL数据类型 Spark（Hudi）数据类型 int2 int int4 int int8 bigint numeric(p, s) decimal[p,s] bool boolean char string varchar string text string timestamptz timestamp timestamp timestamp date date json, jsonb string float4 float float8 double 表4 MySQL和Spark数据类型映射关系 MySQL数据类型 Spark（Hudi）数据类型 int int integer int bigint bigint double double decimal[p,s] decimal[p,s] varchar string char string text string timestamp timestamp datetime timestamp date date json string float double 表5 Ogg/Ogg Oracle Avro（ MRS 3.3.0及之后版本）和Spark数据类型映射关系 Oracle数据类型 Spark（Hudi）数据类型 NUMBER(3)，NUMBER(5) bigint INTEGER decimal NUMBER(20) decimal NUMBER decimal BINARY_DOUBLE double CHAR string VARCHAR string TIMESTAMP, DATETIME timestamp timestamp with time zone timestamp DATE timestamp 表6 DRS Opengauss Json和Spark数据类型映射关系（MRS 3.3.0及之后版本支持） Opengauss Json数据类型 Spark（Hudi）数据类型 int2 int int4 int int8 bigint numeric(p,s) decimal[p,s] bool boolean varchar string timestamp timestamp timestampz timestamp date date jsonb string json string float4 float float8 duble text string 表7 DRS Oracle Json和Spark数据类型映射关系（MRS 3.3.0及之后版本支持） Oracle Json数据类型 Spark（Hudi）数据类型 number(p,s) decimal[p,s] binary double double char string varchar2 string nvarchar2 string timestamp timestamp timestamp with time zone timestamp date timestamp 表8 DRS Oracle Avro和Spark数据类型映射关系（MRS 3.3.0及之后版本支持） Oracle Avro数据类型 Spark（Hudi）数据类型 nuber[p,s] decimal[p,s] flaot(p) float binary_double double char(p) string varchar2(p) string timestamp(p) timestamp date timestamp 表9 openGauss和Spark数据类型映射关系（MRS 3.3.0及之后版本支持） Opengauss数据类型 Spark（Hudi）数据类型 int1 int int2 int int4 int int8 bigint numeric(p,s) decimal[p,s] bool boolean char string bpchar string nvarchar2 string text string date date timestamp timestamp timestampz timestamp json string jsonb string float4 float float8 double real float 表10 Spark（Hudi）和DWS数据类型映射关系 Spark（Hudi）数据类型 DWS数据类型 int int long bigint float float double double decimal[p,s] decimal[p,s] boolean boolean string varchar date date timestamp timestamp 表11 Spark（Hudi）和ClickHouse数据类型映射关系 Spark（Hudi）数据类型 ClickHouse数据类型 int Int32 long Int64 (bigint) float Float32 (float) double Float64 (double) decimal[p,s] Decimal(P,S) boolean bool string String (LONGTEXT, MEDIUMTEXT, TINYTEXT, TEXT, LONGBLOB, MEDIUMBLOB, TINYBLOB, BLOB, VARCHAR, CHAR) date Date timestamp DateTime

MAPREDUCE服务 MRS 使用CDL