检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是否支持增量迁移? 问题描述 CDM是否支持增量迁移? 解决方案 CDM支持增量数据迁移。 利用定时任务配置和时间宏变量函数等参数,可支持以下场景的增量数据迁移: 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 详情请参见增量迁移。 父主题: 数据集成(CDM作业)
使用教程 创建MRS Hive连接器 创建MySQL连接器 MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务
该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“
ch中定时创建新索引并写入数据,方便用户后期删除过期的数据。支持按以下周期创建新索引: 每小时:每小时整点创建新索引,新索引的命名格式为“索引名+年+月+日+小时”,例如“index2018121709”。 每天:每天零点零分创建新索引,新索引的命名格式为“索引名+年+月+日”,例如“index20181217”。
h中定时创建新索引并写入数据,方便用户后期删除过期的数据。支持按以下周期创建新索引: EveryHour:每小时整点创建新索引,新索引的命名格式为“索引名+年+月+日+小时”,例如“index2018121709”。 EveryDay:每天零点零分创建新索引,新索引的命名格式为“
技术指标 新建原子指标 新建衍生指标 新建复合指标 新建时间限定 父主题: 指标设计
offlineCompoundMetric 查看时间限定 DAYU_DS dsTimeCondition getListTimeCondition 创建时间限定 DAYU_DS dsTimeCondition createTimeCondition 更新时间限定 DAYU_DS dsTimeCondition
MongoDB连接迁移失败时如何处理? Hive迁移作业长时间卡顿怎么办? 使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理? MySQL迁移时报错“JDBC连接超时”怎么办? 创建了Hive到DWS类型的连接,进行CDM传输任务失败时如何处理? 如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶?
日期和时间模式 EL表达式中的日期和时间可以按用户指定的格式进行显示,日期和时间格式由日期和时间模式字符串指定。日期和时间模式字符串由A到Z、a到z的非引号字母组成,字母的含义如表1所示。 表1 字母含义 字母 描述 示例 G 纪元标记 AD y 年 2001 M 年中的月份 July
该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“
user_9,user_00 到 user_99 的表。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 table 高级属性 Where子句 “使
该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“
默认为关系数据库,不可更改。 - 数据库服务器 配置为要连接的数据库的IP地址或域名,多个值以;分隔。 192.168.0.1;192.168.0.2 端口 配置为要连接的数据库的端口。 3306 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。
该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“
目的端数据库类型 目的端参数 参数说明 取值样例 云数据库MySQL 云数据库PostgreSQL 云数据库SQL Server - 整库迁移到RDS关系数据库时,目的端作业参数请参见配置MySQL/SQL Server/PostgreSQL目的端参数。 schema DWS - 整库
该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“
设置的数据连接,支持修改。 数据库:默认选择SQL脚本“hive_sql”中设置的数据库,支持修改。 作业编排完成后,单击,测试运行作业。 如果运行成功,单击画布空白处,在右侧的“调度配置”页面,配置作业的调度策略。 图4 配置调度方式 该作业调度时间在2021/01/01至20
该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“