检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业还未跑完，月周期的作业已经开始运行？ 可能原因 月周期的作业依赖天周期的作业，依赖的是上个月的天周期作业是否全部运行完成，周期调度依赖原理的理解有误导致的。 如下图，月周期的作业依赖天周期的作业。为什么在天周期的作业还未跑完，月周期的作业已经开始运行？ 图1 查看作业调度周期及依赖属性
参数位置：创建表/文件迁移的作业时，如果目的端为关系型数据库，在目的端作业配置的高级属性中，可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理：如果启用，在作业执行时CDM会自动创建临时表，先将数据导入到该临时表，导入成功后再通过数据库的事务模式将数据迁移到目标表中；导入失败则将目的表回滚到作业开始之前的状态。
优化迁移性能 迁移作业原理 性能调优 参考：作业分片维度 参考：CDM性能实测数据 父主题： 数据集成（CDM作业）
数据迁移进阶实践 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导
1000个 支持对接API云市场 √ × 支持协议 HTTP或HTTPS HTTPS 支持API策略路由 √ √ 运维分析展示 √ √ 支持后端负载均衡 × √ 支持内部API管理 × √ 后端支持对接私有云 × √ 支持对接专线服务 × √ 性能指标 独立物理多租集群 × √ 出、入网带宽独立
高、使用体验更佳。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。 图1 离线处理集成作业迁移原理 父主题： 数据集成（离线作业）
的、不符合字段转换或者不符合清洗规则的数据单独归档到脏数据日志中，便于用户查看。并支持设置脏数据比例阈值，来决定任务是否成功。 CDM迁移原理 用户使用CDM服务时，CDM管理系统在用户VPC中发放全托管的CDM实例。此实例仅提供控制台和Rest API访问权限，用户无法通过其他
不同调度周期的作业，其允许配置的依赖作业调度周期总结如图2所示。 图2 作业依赖关系全景图 设置依赖作业后的作业运行原理 同周期依赖和跨周期依赖的作业运行原理有所差异。为方便说明，本例中假设“依赖的作业失败后，当前作业处理策略”参数设置为“继续执行”，作业A不判断作业B的实例运
配置了定时任务，则两种调度均会生效。为了业务运行逻辑统一和避免调度冲突，推荐您启用数据开发调度即可，无需配置CDM定时任务。 定时任务功能原理：采用Java Quartz定时器，类似Cron表达式配置。对起始时间解析出分，小时，天，月。构造出cronb表达式。 以配置天调度为例：
FDI Job 功能 通过ROMA FDI Job节点执行一个预先定义的ROMA Connect数据集成任务，实现源端到目标端的数据集成转换。 原理 该节点方便用户启动或者查询FDI任务是否正在运行。 参数 ROMA FDI Job的参数配置，请参考以下内容： 表1 属性参数 参数 是否必选
CDM在进行作业分片时，根据源端数据源的差异，分片维度有所不同。详情如表1所示。 表1 不同源端数据源的作业分片维度 数据源分类 源端数据源 作业分片原理 数据仓库 数据仓库服务（DWS） 支持按表字段分片。 不支持按表分区分片。 数据湖探索（DLI） 支持分区表的分区信息分片。 不支持非分区表分片。
如图1所示，专享版集群创建后，资源位于资源租户区，由ELB统一对集群节点进行负载均衡。 专享版集群创建后，您可以通过如下途径访问集群API： 内网地址：内网地址为用户VPC内的终端节点IP地址，默认具备。 外网地址（可选）：外网地址为绑定在ELB上的EIP地址。EIP仅在创建数据服务集群时，勾选开启公网入口，才会具备。
同步特点：实时同步功能聚焦于表和数据，并满足多种灵活性的需求，例如多对一、一对多，动态增减同步表，不同库表名之间同步数据等。 图1 实时同步原理 实时处理集成作业功能当前在北京四、上海一、广州已上线（其他region后续会逐步放开，敬请期待！），但需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。
columns”、“toJobConfig.columnList”这2个参数）。 导出作业的JSON文件到本地，在本地手动修改JSON文件中的参数后（原理同2相同），再导回CDM。 推荐使用方法1，下面以HBase导到DWS为例进行说明。 解决方法一：CDM的字段映射界面增加字段 获取源端H
创建API时提示代理调用失败，怎么办？ 可能原因 数据连接中的CDM代理异常，例如内存占用过高等。 解决方案 短期内建议您在空余时间对CDM集群进行重启，长期措施需降低CDM集群的工作负载。 父主题： 数据服务
${timestamp(-1,DAY)} and ${timestamp()}，这样就可以在每天的凌晨0点导出前一天产生的所有数据。 其它的配置方式原理相同。 父主题： 数据迁移进阶实践
${timestamp(-1,DAY)} and ${timestamp()}，这样就可以在每天的凌晨0点导出前一天产生的所有数据。 其它的配置方式原理相同。 父主题： 数据集成（CDM作业）
消息消费成功后，数据安全会生成动态脱敏策略（策略名为Kafka消息中的策略名）并同步到MRS Ranger组件中生效。 图1 动态脱敏订阅原理 值得注意的是，动态脱敏订阅为DataArts Studio实例级别配置，各工作空间之间数据互通，全局可见并生效。 前提条件 第三方平台的
DLI SQL 功能 通过DLI SQL节点传递SQL语句到DLI SQL中执行，实现多数据源分析探索。 原理 该节点方便用户在数据开发模块的周期与实时调度中执行DLI相关语句，可以使用参数变量为用户的数仓进行增量导入，分区处理等动作。 参数 用户可参考表1，表2和表3配置DLI
ShowTableModelByIdRequest request = new ShowTableModelByIdRequest(); request.withId("{id}"); try { ShowTableModelByIdResponse
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
