检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中。目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。1
了数据类型，用户存储数据时，须遵从这些数据类型的属性，否则可能会出错。下表列出了MySQL数字类型到GaussDB(DWS)的转换示例。 类型对照 表1 数字类型对照表 MySQL数字类型 MySQL INPUT GaussDB(DWS) OUTPUT DEC DEC DEC[(M[
集合类型 概述 MySQL ENUM是一个字符串对象，具有从列创建时在列规范中明确枚举的允许值列表中选择的值。 SET是一个字符串对象，可以有零个或多个值，每个值必须从创建表时指定的允许值列表中选择。 类型对照 表1 集合类型对照表 MySQL集合类型 MySQL INPUT GaussDB(DWS)
UPDATE MySQL的UPDATE操作形式包括：LOW_PRIORITY、ORDER BY、LIMIT 、IGNORE。 LOW_PRIORITY MySQL UPDATE语句如果使用LOW_PRIORITY修饰符，则执行UPDATE延迟。 输入示例 1 2 #测试 LOW_PRIORITY
VALUES (11,'Frank1','Williams',1,2); DELAYED DELAYED插入和替换在MySQL 5.6中被弃用。在MySQL 5.7中，DELAYED不支持。服务器识别但忽略DELAYED关键字，将替换处理为非延迟替换，并生成ER_WARN_L
a） “数据同步模式” – 日志同步技术适用数据变化量小、数据传输压力小的数据场景，通常只适用于小型数据仓库平台；对于规模小的平台，RPO、RTO可以接近0；b） “数据同步模式” – 备份增量同步技术适合大数据量同步场景，实现方式容易被用户理解；往往需要数据库备份工具具备增量备份恢复能力；同
访问日志）安全审计制定详细的规则。为数据的合规使用制定规范，必须在合规范围内安全使用数据。3. 参考资料《大数据之路》《hadoop构建数据仓库》
COMMENT 在MySQL中，COMMENT对表进行注释。GaussDB(DWS)支持该属性修改表定义信息，DSC工具迁移时会添加额外的表属性信息。 输入示例 1 2 3 4 5 6 7 8 CREATE TABLE `public`.`runoob_alter_test`(
JSON类型 概述 JSON数据类型可以用来存储JSON（JavaScript Object Notation）数据，DSC工具支持以下列出类型转换。 类型对照 输入示例JSON 1 2 3 4 5 6 7 CREATE TABLE IF NOT EXISTS `runoob_dataType_test`(
布尔类型 概述 MySQL 支持两种布尔写法：BOOL、BOOLEAN。DSC工具支持以下列出类型转换。 类型对照 输入示例BOOL/BOOLEAN 1 2 3 4 5 CREATE TABLE IF NOT EXISTS `runoob_dataType_test`( `dataType_1`
的数据应用之一，数据仓库在企业内部扮演着重要的角色，构建并正确配置好数据仓库，对于数据分析工作至关重要。一个设计良好的数据仓库，可以让数据分析师们如鱼得水；否则可能使企业陷入无休止的问题之中，并在未来的企业竞争中处于劣势。随着越来越多的基础设施往云端迁移，数据仓库是否也需要上云？
景。DWS与传统数据仓库相比，主要有以下特点与显著优势，可解决多行业超大规模数据处理与通用平台管理问题：易使用1、一站式可视化便捷管理：DWS让您能够轻松完成从项目概念到生产部署的整个过程。通过使用DWS管理控制台，您不需要安装数据仓库软件，也不需要部署数据仓库服务器，就可以在几
GaussDB(DWS)不支持唯一索引(约束)与主键约束联合使用。DSC工具迁移时会根据GaussDB(DWS)的特性进行相应适配。 MySQL唯一索引(约束)与主键约束联合使用的场景在工具迁移时会与OLAP场景下的分布键构成复杂的关系。工具暂不支持唯一索引(约束)与主键约束联合使用的场景。
GROUP BY转换 MySQL/ADB分组查询的时候允许查询非分组字段，不报错；DWS分组查询时只能查询分组字段和聚集函数，报错。因此补齐没有group by的查询分组字段。 输入示例 1 SELECT e.department_id, department_name, ROUND(AVG(salary)
第二个数据应用： 随着第二个数据应用的出现，各自做集成合并已经是非常不适合的做法了，于是就有个独立的STG和ODS层。 很多时候，做完ODS就可以做业务数据加工了。并且这种情况从数据处理技术发展之初，数据仓库概念提出之前就存在了，现在依然很普遍。集市各自依赖ODS会遇到的多源
SPATIAL空间索引 GaussDB(DWS)不支持SPATIAL空间索引。DSC工具迁移时会根据GaussDB(DWS)的特性进行相应适配。 内联SPATIAL空间索引。 输入示例 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
ROLLUP MySQL中的group by column with rollup需要转换为GaussDB(DWS)中的group by rollup (column); 输入示例 1 2 3 select id,product_id,count(1) from czb_account
迁移场景 主要包括云上和云下的MySQL数据迁移，支持整库迁移或者单表迁移，本文以云下MySQL的整库迁移为例。 云下MySQL数据迁移： CDM通过公网IP访问MySQL数据库，CDM与GaussDB(DWS)在同一个VPC下，CDM分别与MySQL和DWS建立JDBC连接。 云上RDS-MySQL数据迁移：
可以分为三层——源数据、数据仓库、数据应用： 从图中可以看出数据仓库的数据来源于不同的源数据，并提供多样的数据应用，数据自上而下流入数据仓库后向上层开放应用，而数据仓库只是中间集成化数据管理的一个平台。 数据仓库从各数据源获取数据及在数据仓库内的数据转换和流动都可以认为是ETL（抽取Extra
PARTITION BY 在MySQL中，PARTITION BY用于创建分区表。GaussDB(DWS)目前仅对MySQL中的RANGE，LIST分区进行支持。 对于PARTITION BY的HASH分区，DSC暂不支持该特性的完整迁移，将其移除。对于表的当前功能暂时没有影响，性能方面可能存在些许差异。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
