检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解决方案 在使用CDM迁移数据到数据仓库服务(DWS)或者FusionInsight LibrA,且CDM在DWS端自动创建一个新表时,在创建作业的字段映射界面,需要选择分布列,如图1所示。
TIMESTAMP 值,能够将标准时区类型 TIMESTAMP WITH TIME ZONE 类型转化为本地时区类型。
不支持数据类型转换规避指导 操作场景 CDM在配置字段映射时提示字段的数据类型不支持,要求删除该字段。如果需要使用该字段,可在源端作业配置中使用SQL语句对字段类型进行转换,转换成CDM支持的类型,达到迁移数据的目的。
字段映射 在创建作业的过程中,尤其是异构数据源之间的迁移作业,一般需要配置源端和目的端数据源之间的对应关系,例如字段对应、字段类型对应,这个过程在CDM中称为字段映射。
新建源端为分库连接的作业时,在字段映射阶段,可以在源字段新增样值为“${custom(host)}”样式的自定义字段,用于在多个数据库中的多张表迁移到同一张表后,查看表的数据来源。
表达式:CommonUtils.ipToLong(value) 从网络读取一个IP与物理地址映射文件,并存放到Map集合,这里的URL是IP与地址映射文件存放地址,例如“http://10.114.205.45:21203/sqoop/IpList.csv”。
用户可以实时掌握集群运行中所产生的网络流入速率、网络流出速率、CPU使用率、内存使用率、磁盘利用率、失败作业率等信息 关于CDM支持的监控指标,以及如何创建监控告警规则等内容,请参见查看监控指标。 父主题: 安全
当前CDM集群的CPU使用率、磁盘使用率、内存使用率等指标经常在较高区间运行。此时建议使用多个CDM集群进行业务分流。 错峰执行CDM作业 如果大量CDM作业同时执行,当超过当前CDM集群的并发执行作业数时,会导致作业排队,耗时提升。
图1 配置作业 单击“下一步”,进入“字段映射”配置页面后,单击源字段图标。 图2 配置字段映射 选择“自定义字段”页签,填写字段名称及字段值后单击“确认”按钮,例如: 名称:InputTime。 值:${timestamp()},更多时间宏变量请参见表1。
表9 volume 参数 参数类型 描述 type String 节点的磁盘类型,只支持本地磁盘。 size Long 节点磁盘大小,单位G。 表10 ClusterLinks 参数 参数类型 描述 rel String 关系。 href String 链接地址。
单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图7所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换,详细请参见字段转换。
单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图7所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换,详细请参见字段转换。
单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图5所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 如果选择在目的端自动创建类型,这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容,详细请参见字段转换。
单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图5所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 如果选择在目的端自动创建类型,这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容,详细请参见字段转换。
用户应该是先写到OBS文件,然后通过外表映射导入到DLI表。数据基本已经完成,最终映射时候报错,因为这种场景需要使用DLI的SQL队列。 解决方案 联系用户核实,确实选择队列不是SQL队列。并且查询资源得知,账户名下队列没有SQL队列,让用户购买DLI-SQL队列进行迁移同步。
单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图5所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换,详细请参见字段转换。
单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图5所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换,详细请参见字段转换。
单击“下一步”进入字段映射界面,CDM会自动匹配源端和目的端的数据表字段,需用户检查字段映射关系是否正确。 如果字段映射关系不正确,用户单击字段所在行选中后,按住鼠标左键可拖拽字段来调整映射关系。
表6 volume 参数 参数类型 描述 type String 节点的磁盘类型,只支持本地磁盘。 size Long 节点磁盘大小,单位G。 表7 Resource 参数 参数类型 描述 resource_id String 资源id。
字段映射界面无法显示所有列怎么处理? CDM迁移数据到DWS时如何选取分布列? 迁移到DWS时出现value too long for type character varying怎么处理?