检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
X 3.1.X Apache HDFS建议使用的版本： 2.8.X 3.1.X Apache Hive Apache HDFS 对象存储 对象存储服务（OBS） 数据仓库：数据仓库服务（DWS），数据湖探索（DLI） Hadoop：MRS HDFS，MRS HBase，MRS Hive
X 3.1.X Apache HDFS建议使用的版本： 2.8.X 3.1.X Apache Hive Apache HDFS 对象存储 对象存储服务（OBS） 数据仓库：数据仓库服务（DWS），数据湖探索（DLI） Hadoop：MRS HDFS，MRS HBase，MRS Hive
能快，适合文件迁移。 参见配置OBS源端参数。 MRS HDFS FusionInsight HDFS Apache HDFS 支持以CSV、Parquet或二进制格式抽取HDFS数据，支持多种压缩格式。 参见配置HDFS源端参数。 MRS HBase FusionInsight
数据源和任务进行全面的管理和维护。用户只需关注数据迁移的具体逻辑，而不用关心环境等问题，极大降低了开发维护成本。 CDM还提供了REST API，支持第三方系统调用和集成。 实时监控 需要自行选型开发。 您可以使用云监控服务监控您的CDM集群，执行自动实时监控、告警和通知操作，帮
作业。 注意事项 当迁移动作影响到客户的HDFS集群时，需要手动停止作业。 如果作业出现大批量的失败： 先检查DES盒子是否被写满。如果写满，需要清除最近写入的目录，保证后面写入的数据都是完整的。 再检查网络是否连通。 检查客户的HDFS集群。检查是否有指标异常的现象，如果有，则需要暂停迁移任务。
源端作业参数说明 源端为关系数据库 源端为对象存储 源端为HDFS 源端为Hive 源端为HBase/CloudTable 源端为FTP/SFTP 源端为HTTP/HTTPS 源端为MongoDB/DDS 源端为Redis 源端为DIS 源端为Kafka 源端为Elasticsearch/云搜索服务
MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务 OBS数据迁移到DLI服务 MRS HDFS数据迁移到OBS Elasticsearch整库迁移到云搜索服务
连接OBS时，具体参数请参见OBS连接参数说明。 MRS HDFS FusionInsight HDFS Apache HDFS 连接MRS、Apache Hadoop或FusionInsight HD上的HDFS时，具体参数请参见HDFS连接参数说明。 MRS HBase FusionInsight
2.x版本的集群。 由于当前CDM Hive连接是从MRS HDFS组件获取core-site.xml配置信息，所以在MRS侧使用的是Hive over OBS场景时，在创建Hive连接前，需要用户在MRS管理界面的HDFS组件中配置OBS的AK、SK信息。 需确保MRS集群和DataArts
s鉴权。 SIMPLE 用户名 选择KERBEROS鉴权时，需要配置MRS Manager的用户名和密码。从HDFS导出目录时，如果需要创建快照，这里配置的用户需要HDFS系统的管理员权限。 如果要创建MRS安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管
连接参数说明 关系数据库连接 OBS连接 HDFS连接 HBase连接 CloudTable连接 Hive连接 FTP/SFTP连接 MongoDB连接 Redis连接 Kafka连接 DIS连接 Elasticsearch/云搜索服务(CSS)连接 DLI连接 CloudTable
目的端作业参数说明 目的端为关系数据库 目的端为OBS 目的端为HDFS 目的端为Hive 目的端为HBase/CloudTable 目的端为DDS 目的端为Elasticsearch/云搜索服务 目的端为DLI 目的端为DIS 父主题： 公共数据结构
"name": "linkConfig.serviceType", "value": "HDFS" }, { "name": "linkConfig
throttlingConfig.dirtyDataDirectory 否 String 写入脏数据的目录： 如果选择写入到HDFS，此参数即为HDFS目录。 如果选择写入到OBS，此参数表示相应的OBS桶下的目录，例如：“/data/dirtydata/”。 throttlingConfig
选择已配置的MRS Hudi连接。 hudi_to_cdm 数据库名称 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 dbadmin 表名 单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和
MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务 OBS数据迁移到DLI服务 MRS HDFS数据迁移到OBS Elasticsearch整库迁移到云搜索服务
是否支持批量调度作业？ 问题描述 CDM是否支持批量调度作业？ 解决方案 支持。 访问DataArts Studio服务的数据开发模块。 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”，新建作业。 拖动多个CDM Job节点至画布，然后再编排作业。 父主题： 功能类
组件 说明 MRS/Apache/FusionInsight HD Hive 暂不支持2.x版本，建议使用的版本： 1.2.X 3.1.X HDFS 建议使用的版本： 2.8.X 3.1.X Hbase 建议使用的版本： 2.1.X 1.3.X 父主题： 功能类
写入文件时加密使用的密钥，“加密方式”选择“KMS”时显示该参数。单击输入框后面的，可以直接选择在数据加密服务中已创建好的KMS密钥。 当使用与CDM集群相同项目下的KMS密钥时，不需要修改下面的“项目ID”参数。 当用户使用其它项目下的KMS密钥时，需要修改下面的“项目ID”参数。 53440ccb-3e73
置。 HIVE_3_X 用户名 选择KERBEROS鉴权时，需要配置MRS Manager的用户名和密码。从HDFS导出目录时，如果需要创建快照，这里配置的用户需要HDFS系统的管理员权限。 如果要创建MRS安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
