-
配置DWS目的端参数 - 云数据迁移 CDM
比较多的场景。 列模式:表的数据将以列式存储,适用于统计分析类查询(group、join多的场景),或者即席查询(查询条件不确定,行模式表扫描难以使用索引)的场景。 行模式 导入模式 导入数据到DWS时,用户可以指定导入模式: COPY模式,源数据经过管理节点后,复制到DWS的DataNode节点。
-
配置作业源端参数 - 云数据迁移 CDM
HANA源端参数 配置MySQL源端参数 配置Oracle源端参数 配置分库源端参数 配置MongoDB/DDS源端参数 配置Redis源端参数 配置DIS源端参数 配置Kafka/DMS Kafka源端参数 配置Elasticsearch/云搜索服务源端参数 配置MRS Hudi源端参数
-
管理连接 - 云数据迁移 CDM
配置Hive连接 配置HBase连接 配置HDFS连接 配置FTP/SFTP连接 配置Redis连接 配置DDS连接 配置CloudTable连接 配置MongoDB连接 配置Cassandra连接 配置DIS连接 配置Kafka连接 配置DMS Kafka连接 配置云搜索服务(CSS)连接
-
MySQL数据迁移到MRS Hive分区表 - 云数据迁移 CDM
ation,and Loading)操作。对庞大的数据集查询需要耗费大量的时间去处理,在许多场景下,可以通过建立Hive分区方法减少每一次扫描的总数据量,这种做法可以显著地改善性能。 Hive的分区使用HDFS的子目录功能实现,每一个子目录包含了分区对应的列名和每一列的值。当分区
-
错误码 - 云数据迁移 CDM
1210 400 必须指定Redis主键字段列表。 Redis主键字段列表未指定。 请指定Redis主键字段列表后再重试。 Cdm.1211 400 Redis主键字段列表必须在字段列表中存在。 Redis主键字段列表不在字段列表中。 请指定Redis主键字段列表后再重试。 Cdm
-
通过CDM节点批量创建分表迁移作业 - 云数据迁移 CDM
ig.BatchJob。当创建任务报错时,需要在请求体中删除该属性。如下图所示: 图12 修改属性 CDM节点配置为创建作业时,节点运行会检测是否有同名CDM作业。 如果CDM作业未运行,则按照请求体内容更新同名作业。 如果同名CDM作业正在运行中,则等待作业运行完成。此时该CD
-
目的端作业参数说明 - 云数据迁移 CDM
目的端为Hive 目的端为HBase/CloudTable 目的端为DDS 目的端为Elasticsearch/云搜索服务 目的端为DLI 目的端为DIS 父主题: 公共数据结构
-
查询作业 - 云数据迁移 CDM
连接。 mongodb-connector:MongoDB连接。 redis-connector:Redis/DCS连接。 kafka-connector:Kafka连接。 dis-connector:DIS连接。 elasticsearch-connector:Elasticsearch/云搜索服务连接。
-
新建连接 - 云数据迁移 CDM
连接DDS时,具体参数请参见配置DDS连接。 Redis 分布式缓存服务(DCS) 连接Redis或DCS时,具体参数请参见配置Redis连接。 MRS Kafka Apache Kafka 连接MRS Kafka或Apache Kafka数据源时,具体参数请参见配置Kafka连接。 数据接入服务(DIS) 连接DIS时,具体参数请参见配置DIS连接。
-
与其他云服务的关系 - 云数据迁移 CDM
Service,简称CSS)导入、导出数据。 数据接入服务 CDM支持导入数据到数据接入服务(Data Ingestion Service,简称DIS),从DIS导出时,目前只支持导出到云搜索服务CSS。 表格存储服务 CDM支持从表格存储服务(CloudTable Service,简称CloudTable)导入、导出数据。
-
执行Spark SQL写入Hudi失败怎么办? - 云数据迁移 CDM
M。 如果数据切分不均匀,可以修改SQL配置DISTRIBUTE BY rand(),增加一个shuffle过程,打散数据(需要占用较多资源,资源不多时慎用)。 insert into xx select * from xxx DISTRIBUTE BY rand(); 使用DataArts
-
参考:作业分片维度 - 云数据迁移 CDM
分布式缓存服务(DCS) 不支持分片。 Redis 不支持分片。 文档数据库服务(DDS) 不支持分片。 MongoDB 不支持分片。 Cassandra 支持按Cassandra的token range分片。 消息系统 数据接入服务(DIS) 支持按topic分片。 Apache Kafka
-
支持的监控指标 - 云数据迁移 CDM
单位:Count/个。 >=0 CDM集群实例 1分钟 disk_usage 磁盘利用率 该指标为从物理机层面采集的磁盘使用率,数据准确性低于从弹性云服务器内部采集的数据。 单位:%。 0.001%~90% CDM集群实例 1分钟 disk_io 磁盘io 该指标为从物理机层面采集的磁盘
-
作业任务参数说明 - 云数据迁移 CDM
}, { "name": "schedulerConfig.disposableType", "value": "NONE" }
-
约束与限制 - 云数据迁移 CDM
Oracle数据源约束 不支持Oracle实时增量数据同步。 分布式缓存服务(DCS)和Redis数据源约束 第三方云的Redis服务无法支持作为源端。如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 仅支持Hash和String两种数据格式。 文档数据库服务(DDS)和MongoDB数据源约束
-
查询连接 - 云数据迁移 CDM
FTP连接。mongodb-connector:MongoDB连接。redis-connector:Redis/DCS连接。kafka-connector:Kafka连接。dis-connector:DIS连接。elasticsearch-connector:Elasticsea
-
字段映射界面无法显示所有列怎么处理? - 云数据迁移 CDM
输,CDM会将字段值直接写入目的端。 这里“添加新字段”的功能,要求源端数据源为:MongoDB、HBase、关系型数据库或Redis,其中Redis必须为Hash数据格式。 全部字段添加完之后,检查源端和目的端的字段映射关系是否正确,如果不正确可以拖拽字段调整字段位置。 单击“下一步”后保存作业。
-
新建表/文件迁移作业 - 云数据迁移 CDM
支持从MongoDB或DDS导出数据。 参见配置MongoDB/DDS源端参数。 Redis 支持从开源Redis导出数据。 参见配置Redis源端参数。 数据接入服务(DIS) 仅支持导出数据到云搜索服务。 参见配置DIS源端参数。 Apache Kafka DMS Kafka MRS Kafka
-
支持的数据源(2.9.3.300) - 云数据迁移 CDM
Hive 除了表格存储服务(CloudTable)外,其他NoSQL数据源不支持作为目的端。 Redis到DCS的迁移,可以通过其他方式进行,请参见自建Redis迁移至DCS。 Redis 文档数据库服务(DDS) MongoDB 表格存储服务(CloudTable HBase) 数
-
支持的数据源(2.9.3.300) - 云数据迁移 CDM
Hive 除了表格存储服务(CloudTable)外,其他NoSQL数据源不支持作为目的端。 Redis到DCS的迁移,可以通过其他方式进行,请参见自建Redis迁移至DCS。 Redis 文档数据库服务(DDS) MongoDB 表格存储服务(CloudTable HBase) 数