云服务器内容精选

华为云首页用户手册

使用教程

数据治理中心 DATAARTS STUDIO-OBS数据迁移到云搜索服务:创建CDM集群

创建 CDM 集群如果是独立CDM服务，参考创建集群创建CDM集群；如果是作为 DataArts Studio 服务CDM组件使用，参考创建集群创建CDM集群。关键配置如下： CDM集群的规格，按待迁移的数据量选择，一般选择cdm.medium即可，满足大部分迁移场景。 CDM集群的VPC必须和云搜索服务集群所在VPC一致，且推荐子网、安全组也与云搜索服务一致。如果安全控制原因不能使用相同子网和安全组，那么需要确保安全组规则能允许CDM访问云搜索服务集群。

数据治理中心 DATAARTS STUDIO 使用教程
云数据迁移 CDM-MySQL数据迁移到MRS Hive分区表:创建CDM集群并绑定EIP

创建CDM集群并绑定EIP 如果是独立CDM服务，参考创建集群创建CDM集群；如果是作为DataArts Studio服务CDM组件使用，参考创建集群创建CDM集群。关键配置如下： CDM集群的规格，按待迁移的数据量选择，一般选择cdm.medium即可，满足大部分迁移场景。 CDM集群所在VPC、子网、安全组，选择与 MRS 集群所在的网络一致。 CDM集群创建完成后，选择集群操作列的“绑定弹性IP”，CDM通过EIP访问MySQL。图2 集群列表如果用户对本地数据源的访问通道做了SSL加密，则CDM无法通过弹性IP连接数据源。

云数据迁移 CDM 使用教程
云数据迁移 CDM-MySQL数据迁移到MRS Hive分区表:在MRS Hive上创建Hive分区表

在MRS Hive上创建Hive分区表在MRS的Hive上使用下面SQL语句创建一张Hive分区表，表名与MySQL上的表trip_data一致，且Hive表比MySQL表多建三个字段y、ym、ymd，作为Hive的分区字段。SQL语句如下： 1 create table trip_data(TripID int,Duration int,StartDate timestamp,StartStation varchar(64),StartTerminal int,EndDate timestamp,EndStation varchar(64),EndTerminal int,Bike int,SubscriberType varchar(32),ZipCodev varchar(10))partitioned by (y int,ym int,ymd int); Hive表trip_data有三个分区字段：骑行起始时间的年、骑行起始时间的年月、骑行起始时间的年月日，例如一条骑行记录的起始时间为2018/5/11 9:40，那么这条记录会保存在分区trip_data/2018/201805/20180511下面。对trip_data按时间维度统计汇总时，只需要对局部数据扫描，从而提升性能。

云数据迁移 CDM 使用教程
云数据迁移 CDM-MySQL数据迁移到MRS Hive分区表:操作场景

操作场景假设MySQL上有一张表trip_data，保存了自行车骑行记录，里面有起始时间、结束时间，起始站点、结束站点、骑手ID等信息，trip_data表字段定义如图1所示。图1 MySQL表字段使用CDM将MySQL中的表trip_data导入到MRS Hive分区表，流程如下：在MRS Hive上创建Hive分区表创建CDM集群并绑定EIP 创建MySQL连接创建Hive连接创建迁移作业

云数据迁移 CDM 使用教程
云数据迁移 CDM-OBS数据迁移到DLI服务:创建CDM集群

创建CDM集群如果是独立CDM服务，参考创建集群创建CDM集群；如果是作为DataArts Studio服务CDM组件使用，参考创建集群创建CDM集群。该场景下，如果CDM集群只是用于迁移OBS数据到 DLI ，不需要迁移其他数据源，则CDM集群所在的VPC、子网、安全组选择任一个即可，没有要求，CDM通过内网访问DLI和OBS。主要是选择CDM集群的规格，按待迁移的数据量选择，一般选择cdm.medium即可，满足大部分迁移场景。

云数据迁移 CDM 使用教程