检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
taskmanager.memory.network.max int 128MB 默认不需要配置,分库分表场景下如果实例数和表数过多,建议根据实际情况增加网络内存。
基础与网络连通配置 IP或域名 是 关系型数据库数据源的访问地址,可填写为IP或域名。 如果为RDS或GaussDB等云上数据源,可以通过管理控制台获取访问地址: 根据注册的账号登录对应云服务的管理控制台。 从左侧列表选择实例管理。 单击某一个实例名称,进入实例基本信息页面。
检测网络连通性:数据连接和资源组配置完成后需要测试整个迁移任务的网络连通性,可通过以下方式进行数据源和资源组之间的连通性测试。 单击展开“源端配置”触发连通性测试,会对整个迁移任务的连通性做校验。 单击源端和目的端数据源和资源组中的“测试”按钮进行检测。
CDM集群的VPC,选择和RDS的MySQL数据库实例所在的VPC一致,且推荐子网、安全组也与RDS上的MySQL一致。 如果安全控制原因不能使用相同子网和安全组,则可以修改安全组规则,允许CDM访问RDS。
基础与网络连通配置 连接地址前缀 是 适用组件勾选数据集成时显示该参数。 连接地址前缀,测试以及作业时调用接口,会自动拼接此前缀。https仅支持TLSv1.2协议。 例如: https://xxx.com/prefix。
例如要迁移3个文件,第2个文件迁移到一半时由于网络原因失败,再次启动迁移任务时,会跳过第1个文件,从第2个文件开始重新传,但不能从第2个文件失败的位置重新传。 文件迁移时,单个任务支持千万数量的文件,如果待迁移目录下文件过多,建议拆分到不同目录并创建多个任务。
例如要迁移3个文件,第2个文件迁移到一半时由于网络原因失败,再次启动迁移任务时,会跳过第1个文件,从第2个文件开始重新传,但不能从第2个文件失败的位置重新传。 文件迁移时,单个任务支持千万数量的文件,如果待迁移目录下文件过多,建议拆分到不同目录并创建多个任务。
is_default Integer 是否为默认空间,0为私有空间,1为默认空间,2为公共空间。 owner_name String 创建者名称。 project_id String 项目ID,获取方法请参见项目ID和账号ID。
is_default Integer 是否为默认空间,0为私有空间,1为默认空间,2为公共空间。 owner_name String 创建者名称。 project_id String 项目ID,获取方法请参见项目ID和账号ID。
配置网络资源:选择已创建的MySQL、DMS Kafka数据连接和已配置好网络连接的资源组。
检测网络连通性:数据连接和资源组配置完成后需要测试整个迁移任务的网络连通性,可通过以下方式进行数据源和资源组之间的连通性测试。 单击展开“源端配置”触发连通性测试,会对整个迁移任务的连通性做校验。 单击源端和目的端数据源和资源组中的“测试”按钮进行检测。
项目 区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以默认项目为单位进行授权,用户可以访问您账号中该区域的所有资源。
检测网络连通性:数据连接和资源组配置完成后需要测试整个迁移任务的网络连通性,可通过以下方式进行数据源和资源组之间的连通性测试。 单击展开“源端配置”触发连通性测试,会对整个迁移任务的连通性做校验。 单击源端和目的端数据源和资源组中的“测试”按钮进行检测。
用户可以将一些私有能力内置到自定义镜像中,从而增强作业的功能、性能。关于自定义镜像的更多详情,请参见自定义镜像。 作业名称 是 填写DLI Spark作业的名称,只能包含英文字母、数字、“_”,且长度为1~64个字符。默认与节点的名称一致。
检测网络连通性:数据连接和资源组配置完成后需要测试整个迁移任务的网络连通性,可通过以下方式进行数据源和资源组之间的连通性测试。 单击展开“源端配置”触发连通性测试,会对整个迁移任务的连通性做校验。 单击源端和目的端数据源和资源组中的“测试”按钮进行检测。
网络连通性检测异常可先参考数据源和资源组网络不通如何排查?章节进行排查。 配置源端参数。 各同步场景下选择需要同步库表的方式请参考下表。 表5 选择需要同步的库表 同步场景 配置方式 整库 选择需要迁移的Oracle库表。
请检查VPC和安全组规则。 Cdm.0039 连接名不允许修改。 不可修改连接名。 Cdm.0040 日志因为定期清理被删除。 请联系客服或技术支持人员协助解决。 Cdm.0041 不能更新或者删除已被使用的分组 请勿修改分组。
配置网络资源:选择已创建的PostgreSQL、DWS数据连接和已配置好网络连接的资源组。
用户可以将一些私有能力内置到自定义镜像中,从而增强作业的功能、性能。关于自定义镜像的更多详情,请参见自定义镜像。 CUs 是 CUs为DLI计费单位,一个CU是1核4G的资源配置。 管理节点CU数量 是 设置管理单元的CU数,支持设置1~4个CU数,默认值为1个CU。
100MB - 数据源和集成工具之间的网络连通性描述 本示例不涉及 - 数据库类迁移,调研表的个数,最大表的规模 本示例不涉及,本示例需要从OBS文件迁移到数据库 了解数据库迁移的作业规模,了解最大表的迁移时间是否可接受 文件类迁移,文件的个数,有没有单文件超过TB级文件 本示例的