检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
相关作业 否 选择相关作业，您可以选择批作业或实时作业，最多只能选择10个作业。 相关作业参数用于节点运行后，方便跳转到对应作业的监控列表。选择完相关作业，单击“前往监控”在“作业监控”页面选择DIS Client节点时，单击页面下方的“查看相关作业”按钮可以查看相关作业。在“
终止后续节点执行计划：停止后续节点的运行，当前作业实例状态显示为“失败”。 终止当前作业执行计划：停止当前作业运行，当前作业实例状态显示为“失败”。 继续执行下一节点：忽略当前节点失败，当前作业实例状态显示为“忽略失败”。 挂起当前作业执行计划：当前作业实例的状态为运行异常，该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。
配置MySQL/SQL Server/PostgreSQL目的端参数 当作业将数据导入到MySQL/SQL Server/PostgreSQL时，目的端作业参数如表1所示。 表1 MySQL、SQL Server、PostgreSQL作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间
OBS数据迁移到云搜索服务 OBS数据迁移到DLI服务 MRS HDFS数据迁移到OBS Elasticsearch整库迁移到云搜索服务 父主题： 数据集成（CDM作业）
图6 新建元数据 作业编排完成后，单击，测试运行作业。 图7 测试运行作业 如果作业运行正常，单击“调度配置”，配置作业的调度策略。 图8 调度配置 说明： 2023/04/01 00:00开始，每天00点00分执行一次作业。 依赖属性：可以配置为依赖其他作业运行，本例不涉及，无需配置。
网络环境，选择合适的网络解决方案来实现网络连通。 数据库部署在本地IDC 数据库部署在其他云 数据库部署在华为云 父主题： 数据集成（实时作业）
DRS任务切换到实时Migration作业配置 MySQL同步到MRS Hudi作业配置 MySQL同步到DWS作业配置 MySQL同步到DMS Kafka作业配置 DMS Kafka同步到OBS作业配置 Apache Kafka同步到MRS Kafka作业配置 SQLServer同步到MRS
用户在CDM上配置的连接和作业支持导出到本地保存，考虑到密码的安全性，CDM不会将对应数据源的连接密码导出。因此在将作业配置重新导入到CDM前，需要手工编辑导出的JSON文件补充密码或在导入窗口配置密码。 不支持集群自动升级到新版本，需要用户通过作业的导出和导入功能，实现升级到新版本。
encodeType 否 String 编码类型，例如：“UTF_8”或“GBK”。 toJobConfig.markerFile 否 String 当作业执行成功时，会在写入目录下生成一个标识文件，文件名由用户指定，不指定时默认关闭该功能。 toJobConfig.copyContentType
40 质量作业接口 表4 质量作业接口 API 说明 API流量限制（次/10s） 用户流量限制（次/10s） 获取质量作业列表V1 批量查询数据质量作业，返回质量作业列表。 300 40 获取质量作业列表 获取质量作业列表。 300 40 获取质量作业详情 获取质量作业详情 300
MySQL Hadoop：MRS Hudi MySQL同步到MRS Hudi作业配置 消息系统：DMS Kafka MySQL同步到DMS Kafka作业配置 数据仓库：DWS MySQL同步到DWS作业配置 SQLServer Hadoop：MRS Hudi 说明： 该链路目前
DDL时报错怎么办？ MySQL到DWS实时同步中，DWS为什么需要对主键null值进行过滤？ Kafka Kafka到DLI实时同步中，作业运行失败，报“Array element access needs an index starting at 1 but was 0”怎么办？
任务性能调优 性能调优概述 作业任务参数调优 MySQL到MRS Hudi参数调优 MySQL到DWS参数调优 MySQL到DMS Kafka参数调优 DMS Kafka到OBS参数调优 Apache Kafka到MRS Kafka参数调优 SQLServer到MRS Hudi参数调优
luster Id。 响应消息体解析为参数传递定义时，传递的参数名（例如clusterId）在该作业的所有节点参数中需要保持唯一性，避免和其他参数同名。 图1 Rest Clien作业样例1 图2 JSON消息体 通过EL表达式获取返回值 Rest Client算子可与EL表达式
luster Id。 响应消息体解析为参数传递定义时，传递的参数名（例如clusterId）在该作业的所有节点参数中需要保持唯一性，避免和其他参数同名。 图1 Rest Clien作业样例1 图2 JSON消息体 通过EL表达式获取返回值 Rest Client算子可与EL表达式
据库之间整库迁移，一个作业即可迁移几百张表。 增量数据迁移 支持文件增量迁移、关系型数据库增量迁移、HBase/CloudTable增量迁移，以及使用Where条件配合时间变量函数实现增量数据迁移。 事务模式迁移 支持当CDM作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。
类型是一个二进制类型。HLL 类型只能用于聚合类型的表（Aggregation Table），并且必须指定聚合类型为 HLL_UNION。 HLL 类型主要用于非精确快速去重场景下，对数据进行预聚合。 HLL列只能通过配套的 hll_union_agg、hll_cardinality、hll_hash
配置调度身份 数据开发模块的作业执行中会遇到如下问题： 数据开发模块的作业执行机制是以启动作业的用户身份执行该作业。对于按照周期调度方式执行的作业，当启动该作业的IAM账号在调度周期内被停用或删除后，系统无法获取用户身份认证信息，导致作业执行失败。 如果作业被低权限的用户启动，也会因为权限不足导致作业执行失败。
ATOMIC_INDEX: 原子指标 ATOMIC_METRIC: 原子指标（新） BIZ_CATALOG: 流程架构目录 BIZ_METRIC: 业务指标 CODE_TABLE: 码表 COMMON_CONDITION: 通用限定 COMPOSITE_METRIC: 复合指标（新） COMPOUND_METRIC:
ATOMIC_INDEX: 原子指标 ATOMIC_METRIC: 原子指标（新） BIZ_CATALOG: 流程架构目录 BIZ_METRIC: 业务指标 CODE_TABLE: 码表 COMMON_CONDITION: 通用限定 COMPOSITE_METRIC: 复合指标（新） COMPOUND_METRIC:
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
