华为云服务器ECS 数据迁移 镜像云备份-
适用于:Windows/Linux
商品简介:提供华为云服务器ECS 数据迁移服务,包括ECS数据迁移,云备份,OBS和云硬盘相关数据的操作
商品亮点:高可用,敏捷迁移
商品说明
版本: V1.0 | 交付方式: 人工服务 |
适用于: Windows/Linux | 上架日期: 2019-07-30 08:20:19 |
数据迁移 的特点:
直接映射
原来是什么就是什么,原封不动照搬过来,对这样的规则,如果数据源字段和目标字段长度或精度不符,需要特别注意看是否真的可以直接映射还是需要做一些简单运算。
字段运算
数据源的一个或多个字段进行数学运算得到的目标字段,这种规则一般对数值型字段而言。
参照转换
在转换中通常要用数据源的一个或多个字段作为Key,去一个关联数组中去搜索特定值,而且应该只能得到唯一值。这个关联数组使用Hash算法实现是比较合适也是最常见的,在整个ETL开始之前,它就装入内存,对性能提高的帮助非常大。
字符串处理
从数据源某个字符串字段中经常可以获取特定信息,从数据源某个字符串字段中经常可以获取特定信息,例如身份证号。而且,经常会有数值型值以字符串形式体现。对字符串的操作通常有类型转换、字符串截取等。但是由于字符类型字段的随意性也造成了脏数据的隐患,所以在处理这种规则的时候,一定要加上异常处理。
空值判断
对于空值的处理是 数据仓库 中一个常见问题,是将它作为脏数据还是作为特定一种维成员?这恐怕还要看应用的情况,也是需要进一步探求的。但是无论怎样,对于可能有NULL值的字段,不要采用“直接映射”的规则类型,必须对空值进行判断,我们的建议是将它转换成特定的值。