检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作流程概述 流程介绍 使用CDM+OBS+DLI进行贸易统计分析的操作过程主要包括2个步骤: 使用CDM上传数据到OBS 通过CDM将H公司存量数据上传到对象存储服务OBS。 通过CDM作业的定时任务,每天自动上传增量数据到OBS。 使用DLI分析数据 通过DLI直接分析OBS
单击“下一步”进入字段映射界面,CDM会自动匹配源端和目的端的数据表字段,需用户检查字段映射关系是否正确。 如果字段映射关系不正确,用户单击字段所在行选中后,按住鼠标左键可拖拽字段来调整映射关系。 导入到DWS时需要手动选择DWS的分布列,建议按如下顺序选取: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。
图解云数据迁移
段。 添加完字段后,新增的字段在界面不显示样值,不会影响字段值的传输,CDM会将字段值直接写入目的端。 如果字段映射关系不正确,您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。 如果是导入到数据仓库服务(DWS),则还需在目的字段中选择分布列,建议按如下顺序选取分布列:
系型数据库或Redis,其中Redis必须为Hash数据格式。 全部字段添加完之后,检查源端和目的端的字段映射关系是否正确,如果不正确可以拖拽字段调整字段位置。 单击“下一步”后保存作业。 解决方法二:修改JSON文件 获取源端HBase待迁移的表中所有的字段,列族与列之间用“:”分隔,例如:
云数据迁移-成长地图 | 华为云 云数据迁移 云数据迁移(Cloud Data Migration,简称CDM),是一种高效、易用的批量数据迁移服务。 CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成
导入前清空数据:导入数据前,选择是否清空目的表中的数据,这里保持默认“否”。 单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM支持迁移过程中转换字段内容,详细请参见字段转换。 单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能:
高级属性里的可选参数一般情况下保持默认即可。 单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图7所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 如果选择在目的端自动创建类型,这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容,详细请参见字段转换。
高级属性里的可选参数一般情况下保持默认即可。 单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图7所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 如果选择在目的端自动创建类型,这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容,详细请参见字段转换。
导入前清空数据:导入数据前,选择是否清空目的表中的数据,这里保持默认“否”。 单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM支持迁移过程中转换字段内容,详细请参见字段转换。 单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能:
记录数据迁移入库时间 CDM在创建表/文件迁移的作业,支持连接器源端为关系型数据库时,在表字段映射中使用时间宏变量增加入库时间字段,用以记录关系型数据库的入库时间等用途。 前提条件 已创建连接器源端为关系型数据库,以及目的端数据连接。 目的端数据表中已有时间日期字段或时间戳字段。
高级属性里的可选参数一般情况下保持默认即可。 单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图5所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 如果选择在目的端自动创建类型,这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容,详细请参见字段转换。
高级属性里的可选参数一般情况下保持默认即可。 单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图5所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 如果选择在目的端自动创建类型,这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容,详细请参见字段转换。
高级属性里的可选参数一般情况下保持默认即可。 单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图7所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换,详细请参见字段转换。 图7 表到文件的字段映射 单击“下一步
高级属性里的可选参数一般情况下保持默认即可。 单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图7所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换,详细请参见字段转换。 图7 表到文件的字段映射 单击“下一步
高级属性里的可选参数一般情况下保持默认即可。 单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换,详细请参见字段转换。 单击“下一步”配置任务参数,一般情况下全部保持默认即可。
高级属性里的可选参数一般情况下保持默认即可。 单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换,详细请参见字段转换。 单击“下一步”配置任务参数,一般情况下全部保持默认即可。
数据,用户可根据实际需要选择。 单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图5所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换,详细请参见字段转换。 图5 表到表的字段映射 单击“下一步”
数据,用户可根据实际需要选择。 单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图5所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换,详细请参见字段转换。 图5 表到表的字段映射 单击“下一步”
数据,用户可根据实际需要选择。 单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图5所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换,详细请参见字段转换。 图5 表到表的字段映射 单击“下一步”