检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
迁移数据到DLI时有数据丢失怎么处理？ 创建Oracle数据连接测试连通性成功，连接管理界面中测试连接失败。是什么原因？ 作业配置表不存在时自动创建，目的端字段映射不出来怎么处理？ 作业从旧集群导出，再导入到新的集群失败怎么解决？ 迁移HDFS文件，报错无法获取块怎么处理？ 创建MRS数
会保持原样。 增量迁移文件 使用CDM进行二进制传输文件时，目的端有一个参数“重复文件处理方式”，可以用作文件的增量迁移，具体请参见文件增量迁移。 增量迁移文件的时候，选择“重复文件处理方式”为“跳过重复文件”，这样如果源端有新增的文件，或者是迁移过程中出现了失败，只需要再次运行任务，已经迁移过的文件就不会再次迁移。
HDFS读取方式时，支持按Hive文件分片。 JDBC读取方式时，不支持分片。 FusionInsight HDFS 支持按文件分片。 FusionInsight HBase 支持按HBase的Region分片。 FusionInsight Hive HDFS读取方式时，支持按Hive文件分片。
DS。 云搜索服务 CDM支持从云搜索服务（Cloud Search Service，简称CSS）导入、导出数据。 数据接入服务 CDM支持导入数据到数据接入服务（Data Ingestion Service，简称DIS），从DIS导出时，目前只支持导出到云搜索服务CSS。 表格存储服务
独立调度，具体请参见配置作业调度任务（实时作业）。 创建方式 选择作业的创建方式。 创建空作业：创建一个空的作业。 基于模板创建：使用数据开发模块提供的模板来创建。 选择目录 选择作业所属的目录，默认为根目录。 责任人 填写该作业的责任人。 作业优先级 选择作业的优先级，提供高、中、低三个等级。
单位为MB。 toJobConfig.duplicateFileOpType 否 枚举 重复文件处理方式，只有文件名和文件大小都相同才会判定为重复文件。重复文件支持以下处理方式： REPLACE：替换重复文件。 SKIP：跳过重复文件。 ABANDON：发现重复文件停止任务。 toJobConfig
需要添加数据加密方式属性：属性名称填写为security.protocol，值根据Kafka实例中的安全协议填写为SASL_SSL或SASL_PLAINTEXT。 当DMS Kafka实例的连接信息中配置SASL认证机制后，需要添加认证方式的属性：属性名称填写为sasl.mec
CSV格式 重复文件处理方式 当源端为HDFS数据源时配置。 只有文件名和文件大小都相同才会判定为重复文件。写入时如果出现文件重复，可选择如下处理方式： 替换重复文件 跳过重复文件 停止任务 具体使用方法可参见文件增量迁移。 跳过重复文件 高级属性 加密方式 选择是否对上传的数据进行加密，以及加密方式：
“无法连接服务器，请检查IP、主机名、端口填写是否正确，检查网络安全组和防火墙配置是否正确，参考数据库返回消息 ORA-01005 null password given. logon denied(Cdm 0941)” 解决方案 请检查IP、主机名、端口填写是否正确，检查网络安全组和防火墙
认证鉴权 调用接口有如下两种认证方式，您可以选择其中一种进行认证鉴权。 Token认证：通过Token认证通用请求。 AK/SK认证：通过AK（Access Key ID）/SK（Secret Access Key）加密调用请求。 仅当创建IAM用户时的访问方式勾选“编程访问”后，此IA
指定每次批量提交的行数，根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 10000 SSL加密 可选参数，控制是否通过SSL加密方式连接数据库，创建云数据MySQL连接时显示该参数。 是 连接属性 可选参数，单击“添加”可增加多个指定数据源的JDBC连接器的属性，参考对
操作场景 用户在创建数据迁移的任务前，需要先创建连接，让CDM集群能够读写数据源。一个迁移任务，需要建立两个连接，源连接和目的连接。不同的迁移方式（表或者文件迁移），哪些数据源支持导出（即作为源连接），哪些数据源支持导入（即作为目的连接），详情请参见支持的数据源。 不同类型的数据源，
“OBS支持”设置为“是”时，呈现此参数。 请填写完整的文件路径，将调用元数据查询接口来校验路径的访问权限。 说明： 如果是对象存储，路径需要填写到对象级别，否则会报错404，例如：“obs://bucket/dir/test.txt”。 如果是并行文件系统，则可以只填写到目录级别。例如：“obs://bucket/dir”。
目的端连接器。 图1 配置作业 单击“下一步”，进入“字段映射”配置页面后，单击源字段图标。 图2 配置字段映射 选择“自定义字段”页签，填写字段名称及字段值后单击“确认”按钮，例如： 名称：InputTime。 值：${timestamp()}，更多时间宏变量请参见表1。 图3
待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。 cdm 密码 用户名密码。 - SSL加密 可选参数，支持通过SSL加密方式连接数据库，暂不支持自建的数据库。 否 引用符号 可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。 ' 父主题：
定时任务失败，检查连接器连接存在问题 问题描述 CDM任务检查网络连通性，源端数据库连接问题，测试连通性提示如下问题： “请检查IP、主机名、端口填写是否正确，检查网络安全组和防火墙配置是否正确，参考数据库返回消息进行定位。” 故障分析 查询集群信息，获取公网IP，从CDM集群curl源端数据库的地址，如下所示。
CDM作业实际启动时间-偏移量”。 TBL_E 读取方式 包括HDFS和JDBC两种读取方式。默认为HDFS方式，如果没有使用WHERE条件进行数据过滤及在字段映射页面添加新字段的需求，选择HDFS方式即可。 HDFS文件方式读取数据时，性能较好，但不支持使用WHERE条件进行数据过滤及在字段映射页面添加新字段。
不同Hadoop类型的集群配置文件和Keytab文件获取方式有所不同，请参见表1获取相应Hadoop集群配置文件和Keytab文件。 表1 集群配置文件和Keytab文件获取方式 Hadoop类型连接 集群配置文件获取方式 Keytab文件获取方式 MRS集群 MRS HDFS MRS HBase
止个人数据泄露，保证您的个人数据安全。 数据销毁机制 用户删除CDM集群后，存储在集群上的用户个人敏感数据会随之删除。 用户在控制台上删除填写的手机号、邮箱，并关闭消息通知功能后，数据库中会同步删除用户的手机号、邮箱信息。 数据传输安全 用户个人敏感数据将通过TLS 1.2、TLS1
导出全部新增的文件，或者只导出特定的目录/文件。 目前CDM支持以下文件增量迁移方式： 增量导出指定目录的文件 适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。这种增量迁移方式，只追加写入文件，不会更新或删除已存在的记录。 关键配置：文件/路径过滤器+定时执行作业。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
