检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
因此作业抽取并发数和集群最大抽取并发数参数设置为适当的值可以有效提升迁移速度。关于如何调整抽取并发数，详情请参考如何调整抽取并发数。 如何调整抽取并发数 集群最大抽取并发数的设置与CDM集群规格有关，并发数上限建议配置为vCPU核数*2，如表1所示。
0%～100% CDM集群实例 1分钟 pg_pending_job 排队作业数 该指标用于统计该CDM实例中处于PENDING状态的作业数。 单位：Count/个。
最大并发数 当前任务组作业节点最大并发数。 最大节点并发数即为当前DataArts Studio实例的并发数。 当前DataArts Studio实例的节点并发数上限为1000，请不要超过该上限。
最大抽取并发数：限制作业运行的总抽取并发数，如果当前所有作业总并发数超出限制，超出部分将排队等待。 注意，最大抽取并发数取值范围为1-1000，建议根据集群规格进行配置，建议值详见最大抽取并发数。过高的并发数可能导致内存溢出，请谨慎修改。
' 单次写入行数 指定单次批量写入的行数，当写入行数累计到单次批量提交行数时提交一次，该值应当小于单次提交行数。 100 单击“保存”回到连接管理界面，完成MySQL连接器的配置。
` 单次写入行数 指定单次批量写入的行数，当写入行数累计到单次批量提交行数时提交一次，该值应当小于单次提交行数。 100 父主题： 配置连接参数
5 SQL并发数配置 单击SQL框，进入“单连接SQL并发数配置”页面，配置SQL并发数。输入值必须在10到1000之间。单击“确定”，完成配置。 说明： 并发数是指单个数据连接下的SQL并发数，如果超出则等待排队执行。
是 Hudi表清除策略（保留提交数） 清除时保留的提交数。 1 Hudi表归档策略（最小保留提交数） 归档时保留的最小提交数。 1 Hudi表归档策略（最大保留提交数） 归档时保留的最大提交数。
- 单次请求行数 可选参数，单击“显示高级属性”后显示。 指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 10000 单次提交行数 可选参数，单击“显示高级属性”后显示。
作业数/任务日调度数 统计较长周期总作业数量与日调度任务数量的变化趋势，任务表示作业中的算子。 作业数：所有批处理作业和实时作业的总数。 任务日调度数：按照当天调度成功的节点进行统计，不区分实时任务和离线任务。
此时请减少Oracle源端“单次请求行数”参数值的设置。 1000 单次提交行数 可选参数，单击“显示高级属性”后显示。 指定单次批量提交的行数。
作业抽取并发数可参考集群最大抽取并发数配置，但不建议超过集群最大抽取并发数上限。 目的端为DLI数据源时，抽取并发数建议配置为1，否则可能会导致写入失败。 其中，集群最大抽取并发数的设置与CDM集群规格有关，并发数上限建议配置为vCPU核数*2。
throttlingConfig.maxErrorRecords 否 String 单个分片的最大错误记录数。单个map的错误记录超过设置的最大错误记录数时，任务自动结束，已经导入的数据不回退。
表5 任务配置参数说明 参数 说明 默认值 执行内存 作业执行分配内存，跟随处理器核数变化而自动变化。 8GB 处理器核数 范围：2-32。 每增加1处理核数，则自动增加4G执行内存和1并发数。 2 并发数 作业执行支持并发数。该参数无需配置，跟随处理器核数变化而自动变化。
- 单次请求行数 可选参数，单击“显示高级属性”后显示。 指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 1000 单次提交行数 可选参数，单击“显示高级属性”后显示。
模型设计 数仓规划 关系建模 维度建模 数据集市 父主题： 数据架构
merge into loader线程数 每个loader内部启动的线程数，可以提升写入并发数。并发场景下有如下限制：约束冲突处理策略不支持"replace into"或"on duplicate key update"。
" 单次请求行数 可选参数，单击“显示高级属性”后显示。 指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 1000 单次提交行数 可选参数，单击“显示高级属性”后显示。
delete_rows Integer 删除数据行数。 update_rows Integer 更新数据行数。 write_rows Integer 写入数据行数。 submission-id Integer 作业提交id。 job-name String 作业名称。
merge into loader线程数 每个loader内部启动的线程数，可以提升写入并发数。 说明： 不支持“约束冲突处理”策略为“replace into”或“on duplicate key update”的并发场景。 1 父主题： 配置作业目的端参数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
