检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
已创建的MRS集群，CDM会自动填充下面的鉴权参数。 用户名：选择KERBEROS鉴权时，需要配置MRS Manager的用户名和密码。 从HDFS导出目录时，如果需要创建快照，这里配置的用户需要HDFS系统的管理员权限。 密码：访问MRS Manager的用户密码。 认证类型：访问MRS的认证类型。
已创建的MRS集群，CDM会自动填充下面的鉴权参数。 用户名：选择KERBEROS鉴权时，需要配置MRS Manager的用户名和密码。 从HDFS导出目录时，如果需要创建快照，这里配置的用户需要HDFS系统的管理员权限。 密码：访问MRS Manager的用户密码。 认证类型：访问MRS的认证类型。
其他可选参数保持默认即可，详细说明可参见配置MySQL源端参数。 目的端作业配置 目的连接名称：选择步骤2：创建连接章节中创建的DWS连接“dwslink”。 模式或表空间：选择导入到DWS的哪个模式。 自动创表：这里选择“不存在时创建”，当下面“表名”参数中配置的表不存在时，CDM会自动在DWS数据库中创建该表。
迁移作业。 配置Oracle源端参数、MRS hive目的端参数，并配置传递参数，参数形式为 ${varName}，本示例参数为${cur_date}，如图2所示。 图2 配置作业 不能在CDM迁移作业中配置“作业失败重试”参数，如有需要请在数据开发中的CDM节点配置“失败重试”参数。
进入CDM主界面，单击左侧导航上的“集群管理”，选择集群后的“作业管理”。 选择“整库迁移 > 新建作业”，进入作业参数配置界面。 图1 创建整库迁移作业 配置源端作业参数，根据待迁移的数据库类型配置对应参数，如表1所示。 表1 源端作业参数 源端数据库类型 源端参数 参数说明 取值样例 DWS MySQL
行失败怎么处理？ 问题描述 读Hudi作业字段映射多了一列col，作业执行失败。 原因分析 使用Spark SQL写数据入hudi表，由于配置问题，表schema中会自动增加一列类型为array<string>，名称为col的列。 解决方案 字段映射中删去此列，如果是自动建表，SQL中也要把此列删去。
支持从神通（ST）导出数据。 参见配置神通（ST）源端参数。 达梦数据库 DM 支持从达梦数据库 DM导出数据。 参见配置达梦数据库 DM源端参数。 配置目的端作业参数，根据目的端数据类型配置对应的参数，具体如表2所示。 表2 目的端作业参数说明 目的端类型 说明 参数配置 OBS 支持使用C
linkConfig.accessKey 是 String 访问标识（AK）。建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 linkConfig.securityKey 是 String 密钥（SK）。建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 父主题： 连接参数说明
抽取并发数：可设置同时执行的抽取任务数。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要先配置好OBS连接。 作业运行完是否删除：可选择是否自动删除作业。 JSON样例 "driver-config-values": {
迁移任务报错表名太长，但表名实际没有这么长。 原因分析 在任务迁移时，导入数据前会先创建一个实际表名+阶段表后缀的阶段表，最终导致的作业异常。 解决方案 在作业配置高级属性将导入阶段表设置为否，这样就不会先导入阶段表。 缩短实际表的表名长度。 父主题： 故障处理类
化漏洞（CNVD-2022-40233）等，如发现服务模块涉及漏洞影响，会迅速通过官方解决方案升级现网更新漏洞。 更新配置 CDM云服务通过版本更新升级更新配置。 父主题： 安全
Hive连接时，提示：CORE_0031:Connect time out. (Cdm.0523) 。 解决方案 新建MRS Hive连接时，提示无法下载配置文件，实际是用户权限不足。建议您新建一个业务用户，给对应的权限后重试即可。 如果要创建MRS安全集群的数据连接，不能使用admin用户。因
string："false"。 故障分析 根据报错分析，考虑是客户侧字段类型转换存在问题，将值为"false"的bool类型转为int类型报错。进一步排查作业配置第二步，字段映射界面，查看对应关系。 根据上一步字段映射分析，其中"support_gpu_instancing"字段源端为TINYINT
图4 创建作业 作业名称：用户自定义作业名称。 源端作业配置： 源连接名称：选择5创建的HDFS连接“hdfs_link”。 源目录或文件：配置为H公司贸易数据在本地的存储路径，可以是一个目录，也可以是单独一个文件。这里配置为目录，CDM会迁移整个目录下的文件到OBS。 文件格式
重启CDM集群 操作场景 在进行某些配置修改（如关闭用户隔离等）后，需要重启集群才能生效。此时您需要进行集群重启操作。 重启CDM集群进程或集群VM都会导致正在运行的作业失败，重启期间也无法调度新的作业，请谨慎操作！ 前提条件 已创建CDM集群。 重启集群 登录CDM管理控制台。
返回当前整小时的时间戳。 1508115600000 路径和表名的时间宏变量 如图1所示，如果将： 源端的“表名”配置为“CDM_/${dateformat(yyyy-MM-dd)}”。 目的端的“写入目录”配置为“/opt/ttxx/${timestamp()}”。 经过宏定义转换，这个作业表示：将Oracle数据库的“SQOOP
CDM可以通过批量导入的功能，实现批量创建作业，方法如下： 手动创建一个作业。 导出作业，将作业的JSON文件保存到本地。 编辑JSON文件，参考该作业的配置，在JSON文件中批量复制出更多作业。 将JSON文件导入CDM集群，实现批量创建作业。 您也可以参考通过CDM算子批量创建分表迁移作业，配合For
返回当前整小时的时间戳。 1508115600000 路径和表名的时间宏变量 如图1所示，如果将： 源端的“表名”配置为“CDM_/${dateformat(yyyy-MM-dd)}”。 目的端的“写入目录”配置为“/opt/ttxx/${timestamp()}”。 经过宏定义转换，这个作业表示：将Oracle数据库的“SQOOP
否正确，检查网络安全组和防火墙配置是否正确，参考数据库返回消息 ORA-01005 null password given. logon denied(Cdm 0941)”。 解决方案 请检查IP、主机名、端口填写是否正确，检查网络安全组和防火墙配置是否正确，参考数据库返回消息进
后台排查sqoop日志，考虑源端数据类型格式问题导致异常。 分析源端数据类型，发现数据类型中有脏数据，源端数据类型有问题。 客户CDM界面配置脏数据功能，作业重跑成功，OBS桶排查脏数据类型存在问题，格式不匹配。 父主题： 故障处理类
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
