检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
免7*24小时人工值守。 高效率 在迁移过程中,数据读写过程都是由一个单一任务完成的,受限于资源,整体性能较低,对于海量数据场景通常不能满足要求。 CDM任务基于分布式计算框架,自动将任务切分为独立的子任务并行执行,能够极大提高数据迁移的效率。针对Hive、HBase、MySQL
免7X24小时人工值守。 高效率 在迁移过程中,数据读写过程都是由一个单一任务完成的,受限于资源,整体性能较低,对于海量数据场景通常不能满足要求。 CDM任务基于分布式计算框架,自动将任务切分为独立的子任务并行执行,能够极大提高数据迁移的效率。针对Hive、HBase、MySQL
创建迁移作业 选择“表/文件迁移 > 新建作业”,开始创建从Oracle导出数据到云搜索服务的任务。 图4 创建Oracle到云搜索服务的迁移任务 作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称:选择创建Oracle连接中的“oracle_link”。 模式或表空间:待迁移数据的数据库名称。
创建迁移作业 选择“表/文件迁移 > 新建作业”,开始创建从Oracle导出数据到云搜索服务的任务。 图4 创建Oracle到云搜索服务的迁移任务 作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称:选择创建Oracle连接中的“oracle_link”。 模式或表空间:待迁移数据的数据库名称。
单击“保存”回到连接管理界面。 创建整库迁移作业 两个连接创建完成后,选择“整库迁移 > 新建作业”,开始创建迁移任务,如图4所示。 图4 创建整库迁移作业 作业名称:用户自定义整库迁移的任务名称。 源端作业配置 源连接名称:选择创建MySQL连接中的“mysqllink”。 模式或表空间:选
生成后妥善保管。 图5 创建OBS连接 单击“保存”回到连接管理界面。 创建迁移作业 选择“表/文件迁移 > 新建作业”,开始创建从MRS HDFS导出数据到OBS的任务。 图6 创建MRS HDFS到OBS的迁移任务 作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置
sql,则多半是队列资源限制,打开yarn,搜索租户的队列,查看Spark2x-JDBCServer2x的yarn任务,此时可能会搜索不到yarn任务,或者State为ACCEPTED,这两种情况都是资源不足起不了yarn任务的现象。打开yarn的schedule,查看队列资源,关注以下几个参数: Used Resources:
单击“保存”回到连接管理界面。 创建整库迁移作业 两个连接创建完成后,选择“整库迁移 > 新建作业”,开始创建迁移任务,如图4所示。 图4 创建整库迁移作业 作业名称:用户自定义整库迁移的任务名称。 源端作业配置 源连接名称:选择创建MySQL连接中的“mysqllink”。 模式或表空间:选
请在生成后妥善保管。 图5 创建OBS连接 单击“保存”回到连接管理界面。 创建迁移作业 选择“表/文件迁移 > 新建作业”,开始创建从MySQL导出数据到OBS的任务。 图6 创建MySQL到OBS的迁移任务 作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置 源连
单击“保存”完成创建连接。 创建迁移作业 选择“表/文件迁移 > 新建作业”,开始创建从Oracle导出数据到DWS的任务。 图4 创建Oracle到DWS的迁移任务 作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称:选择创建Oracle连接中的“oracle_link”。 模式或表空间:待迁移数据的数据库名称。
单击“保存”完成创建连接。 创建迁移作业 选择“表/文件迁移 > 新建作业”,开始创建从MySQL导出数据到DWS的任务。 图4 创建MySQL到DWS的迁移任务 作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称:选择创建MySQL连接中的“mysqllink”。 使用SQL语句:否。
单击“保存”完成创建连接。 创建迁移作业 选择“表/文件迁移 > 新建作业”,开始创建从MySQL导出数据到DWS的任务。 图4 创建MySQL到DWS的迁移任务 作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称:选择创建MySQL连接中的“mysqllink”。 使用SQL语句:否。
例如要迁移3个文件,第2个文件迁移到一半时由于网络原因失败,再次启动迁移任务时,会跳过第1个文件,从第2个文件开始重新传,但不能从第2个文件失败的位置重新传。 文件迁移时,单个任务支持千万数量的文件,如果待迁移目录下文件过多,建议拆分到不同目录并创建多个任务。 父主题: 进阶实践
生成后妥善保管。 图5 创建OBS连接 单击“保存”回到连接管理界面。 创建迁移作业 选择“表/文件迁移 > 新建作业”,开始创建从MRS HDFS导出数据到OBS的任务。 图6 创建MRS HDFS到OBS的迁移任务 作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置
单击“保存”完成创建连接。 创建迁移作业 选择“表/文件迁移 > 新建作业”,开始创建从Oracle导出数据到DWS的任务。 图4 创建Oracle到DWS的迁移任务 作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称:选择创建Oracle连接中的“oracle_link”。 模式或表空间:待迁移数据的数据库名称。
修改连接的参数。 120次/min 删除连接 删除指定连接。 120次/min 作业管理API 指定集群创建作业 在指定的CDM集群上创建数据迁移任务,作业不会启动。 1200次/min 随机集群创建作业并执行 在指定的CDM集群列表中,随机选择一个开机状态的集群,在该集群中创建作业并执行作业。
请在生成后妥善保管。 图5 创建OBS连接 单击“保存”回到连接管理界面。 创建迁移作业 选择“表/文件迁移 > 新建作业”,开始创建从MySQL导出数据到OBS的任务。 图6 创建MySQL到OBS的迁移任务 作业名称:用户自定义便于记忆、区分的任务名称。 源端作业配置 源连
例如要迁移3个文件,第2个文件迁移到一半时由于网络原因失败,再次启动迁移任务时,会跳过第1个文件,从第2个文件开始重新传,但不能从第2个文件失败的位置重新传。 文件迁移时,单个任务支持千万数量的文件,如果待迁移目录下文件过多,建议拆分到不同目录并创建多个任务。 父主题: 关键操作指导
对于目的端连接参数,则以“toJobConfig.”开头,具体可参见目的端作业参数说明下相应的目的端参数说明;对于作业任务参数,请参见作业任务参数说明下相应的任务参数说明。 value Object 参数值,参数名对应的值,必须填写为字符串。 type String 值类型,如S
verifyLink 删除连接 link deleteLink 创建任务 job createJob 修改任务 job modifyJob 删除任务 job deleteJob 启动任务 job startJob 停止任务 job stopJob 数据仓库服务 CDM支持从数据仓库服务(Data