数据仓库 |
数据仓库服务(DWS) |
- 数据仓库:数据仓库服务(DWS), 数据湖探索 ( DLI ), MRS ClickHouse
- Hadoop:MRS HDFS,MRS HBase,MRS Hive
- 对象存储: 对象存储服务 (OBS)
- 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle
- NoSQL: 表格存储服务 (CloudTable)
- 搜索:Elasticsearch, 云搜索服务 ( CSS )
|
不支持DWS物理机纳管模式。 |
数据湖 探索(DLI) |
- 数据仓库:数据仓库服务(DWS),数据湖探索(DLI),MRS ClickHouse
- Hadoop:MRS HDFS,MRS HBase,MRS Hive
- 对象存储:对象存储服务(OBS)
- 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle
- NoSQL: 表格存储 服务(CloudTable),MongoDB
- 搜索:Elasticsearch, 云搜索 服务( CS S)
|
MongoDB建议使用的版本:
4.2。 |
MRS ClickHouse |
数据仓库:MRS ClickHouse,数据湖探索(DLI) |
MRS ClickHouse建议使用的版本:21.3.4.X。 |
Hadoop
|
MRS HDFS |
- 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
- Hadoop:MRS HDFS,MRS HBase,MRS Hive
- 对象存储:对象存储服务(OBS)
- 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle
- NoSQL:表格存储服务(CloudTable)
- 搜索:Elasticsearch,云搜索服务(CSS)
|
- 支持本地存储,仅MRS Hive、MRS Hudi支持存算分离场景。
- 仅MRS Hive支持Ranger场景。
- 不支持ZK开启SSL场景。
- MRS HDFS建议使用的版本:
- MRS HBase建议使用的版本:
- MRS Hive、MRS Hudi暂不支持2.x版本,建议使用的版本:
|
MRS HBase |
MRS Hive |
- 数据仓库:数据仓库服务(DWS),数据湖探索(DLI),MRS Clickhouse
- Hadoop:MRS HDFS,MRS HBase,MRS Hive
- 对象存储:对象存储服务(OBS)
- 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle
- NoSQL:表格存储服务(CloudTable)
- 搜索:Elasticsearch,云搜索服务(CSS)
|
MRS Hudi |
- 数据仓库:数据仓库服务(DWS)
- Hadoop:MRS HBase
|
FusionInsight HDFS |
- 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
- Hadoop:MRS HDFS,MRS HBase,MRS Hive
- 对象存储:对象存储服务(OBS)
- NoSQL:表格存储服务(CloudTable)
- 搜索:Elasticsearch,云搜索服务(CSS)
|
- FusionInsight数据源不支持作为目的端。
- 仅支持本地存储,不支持存算分离场景。
- 不支持Ranger场景。
- 不支持ZK开启SSL场景。
- FusionInsight HDFS建议使用的版本:
- FusionInsight HBase建议使用的版本:
- FusionInsight Hive建议使用的版本:
|
FusionInsight HBase |
FusionInsight Hive |
Apache HBase |
- 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
- Hadoop:MRS HDFS,MRS HBase,MRS Hive
- 对象存储:对象存储服务(OBS)
- NoSQL:表格存储服务(CloudTable)
- 搜索:Elasticsearch,云搜索服务(CSS)
|
- Apache数据源不支持作为目的端。
- 仅支持本地存储,不支持存算分离场景。
- 不支持Ranger场景。
- 不支持ZK开启SSL场景。
- Apache HBase建议使用的版本:
- Apache Hive暂不支持2.x版本,建议使用的版本:
- Apache HDFS建议使用的版本:
|
Apache Hive |
Apache HDFS |
对象存储 |
对象存储服务(OBS) |
- 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
- Hadoop:MRS HDFS,MRS HBase,MRS Hive
- NoSQL:表格存储服务(CloudTable)
- 搜索:Elasticsearch,云搜索服务(CSS)
|
- 对象存储服务之间的迁移,推荐使用 对象存储迁移 服务 OMS 。
- 不支持二进制文件导入到数据库或NoSQL。
|
文件系统 |
FTP |
- 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
- Hadoop:MRS HDFS,MRS HBase,MRS Hive
- NoSQL:表格存储服务(CloudTable)
- 搜索:Elasticsearch,云搜索服务(CSS)
- 对象存储:对象存储服务(OBS)
|
- 文件系统不支持作为目的端。
- FTP/SFTP到搜索的迁移仅支持如CSV等文本文件,不支持二进制文件。
- FTP/SFTP到OBS的迁移仅支持二进制文件。
- HTTP到OBS的迁移推荐使用obsutil工具,请参见obsutil简介。
|
SFTP |
HTTP |
Hadoop:MRS HDFS |
关系型数据库 |
云数据库 MySQL |
- 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
- Hadoop:MRS HDFS,MRS HBase,MRS Hive,MRS Hudi
- 对象存储:对象存储服务(OBS)
- NoSQL:表格存储服务(CloudTable)
- 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server
- 搜索:Elasticsearch,云搜索服务(CSS)
|
- 云数据库 MySQL不支持SSL模式。
- Microsoft SQL Server建议使用的版本:2005以上。
- 金仓和 GaussDB 数据源可通过PostgreSQL连接器进行连接,支持的迁移作业的源端、目的端情况与PostgreSQL数据源一致。
|
云数据库 SQL Server |
- 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
- Hadoop:MRS HDFS,MRS HBase,MRS Hive
- 对象存储:对象存储服务(OBS)
- NoSQL:表格存储服务(CloudTable)
- 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server
- 搜索:Elasticsearch,云搜索服务(CSS)
|
云数据库 PostgreSQL |
MySQL |
- 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
- Hadoop:MRS HDFS,MRS HBase,MRS Hive,MRS Hudi
- 对象存储:对象存储服务(OBS)
- NoSQL:表格存储服务(CloudTable)
- 搜索:Elasticsearch,云搜索服务(CSS)
|
PostgreSQL |
Oracle |
Microsoft SQL Server |
- 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
- Hadoop:MRS HDFS,MRS HBase,MRS Hive
- 对象存储:对象存储服务(OBS)
- NoSQL:表格存储服务(CloudTable)
- 搜索:Elasticsearch,云搜索服务(CSS)
|
SAP HANA |
- 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
- Hadoop:MRS Hive
|
SAP HANA数据源存在如下约束:
- SAP HANA不支持作为目的端。
- 仅支持2.00.050.00.1592305219版本。
- 仅支持Generic Edition。
- 不支持BW/4 FOR HANA。
- 仅支持英文字母的数据库名、表名与列名,不支持存在空格、符号等特殊字符。
- 仅支持日期、数字、布尔、字符(除SHORTTEXT) 类型的数据类型,不支持二进制类型等其他数据类型。
- 迁移时不支持目的端自动建表。
|
分库 |
- 数据仓库:数据湖探索(DLI)
- Hadoop:MRS HBase,MRS Hive
- 搜索:Elasticsearch,云搜索服务(CSS)
|
分库数据源不支持作为目的端。 |
神通(ST) |
|
- |
NoSQL |
分布式缓存服务(DCS) |
Hadoop:MRS HDFS,MRS HBase,MRS Hive |
除了表格存储服务(CloudTable)外,其他NoSQL数据源不支持作为目的端。
Redis到DCS的迁移,可以通过其他方式进行,请参见自建Redis迁移至DCS。 |
Redis |
文档数据库服务(DDS) |
MongoDB |
表格存储服务(CloudTable HBase) |
- 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
- Hadoop:MRS HDFS,MRS HBase,MRS Hive
- 对象存储:对象存储服务(OBS)
- 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle
- NoSQL:表格存储服务(CloudTable)
- 搜索:Elasticsearch,云搜索服务(CSS)
|
Cassandra |
- 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
- Hadoop:MRS HDFS,MRS HBase,MRS Hive
- 对象存储:对象存储服务(OBS)
- NoSQL:表格存储服务(CloudTable)
- 搜索:Elasticsearch,云搜索服务(CSS)
|
消息系统
|
数据接入服务 (DIS) |
搜索:云搜索服务(CSS) |
消息系统不支持作为目的端。 |
Apache Kafka |
DMS Kafka |
MRS Kafka |
- 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
- Hadoop:MRS HDFS,MRS HBase,MRS Hive
- 对象存储:对象存储服务(OBS)
- 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server
- NoSQL:表格存储服务(CloudTable)
- 搜索:Elasticsearch,云搜索服务(CSS)
|
- MRS Kafka不支持作为目的端。
- 仅支持本地存储,不支持存算分离场景。
- 不支持Ranger场景。
- 不支持ZK开启SSL场景。
|
搜索
|
Elasticsearch |
- 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
- Hadoop:MRS HDFS,MRS HBase,MRS Hive
- 对象存储:对象存储服务(OBS)
- 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server
- NoSQL:表格存储服务(CloudTable)
- 搜索:Elasticsearch,云搜索服务(CSS)
|
Elasticsearch仅支持非安全模式。 |
云搜索服务(CSS) |
导入数据到CSS推荐使用Logstash,请参见使用Logstash导入数据到Elasticsearch。 |