数据迁移实践-华为云

数据仓库服务 GAUSSDB(DWS)-通过DLI Flink作业将MySQL数据实时同步到GaussDB(DWS):步骤一：准备MySQL数据

步骤一：准备MySQL数据购买RDS实例，参见表1配置关键参数，其他参数可保持默认，如需了解详情请参见RDS文档。表1 RDS参数参数项取值计费模式按需计费区域华北-北京四实例名称 rds-demo 数据库引擎 MySQL 数据库版本 5.7及以上数据库端口 3306 连接RDS实例，执行以下命令，创建名为mys_data数据库。 1 CREATE DATABASE mys_data; 切换到新的数据库mys_data，并执行以下命令，创建表mys_orders。 1 2 3 4 5 6 7 8 CREATE TABLE mys_data.mys_order ( order_id VARCHAR(12), order_channel VARCHAR(32), order_time DATETIME, cust_code VARCHAR(6), pay_amount DOUBLE, real_pay DOUBLE, PRIMARY KEY (order_id) ); 执行以下命令向表中插入数据。 1 2 INSERT INTO mys_data.mys_order VALUES ('202306270001', 'webShop', TIMESTAMP('2023-06-27 10:00:00'), 'CUST1', 1000, 1000); INSERT INTO mys_data.mys_order VALUES ('202306270002', 'webShop', TIMESTAMP('2023-06-27 11:00:00'), 'CUST2', 5000, 5000); 执行以下命令，验证数据是否插入成功。 1 SELECT * FROM mys_data.mys_order;

数据仓库服务 GAUSSDB(DWS) 数据迁移实践

数据仓库服务 GAUSSDB(DWS)-通过DLI Flink作业将Kafka数据实时写入(GaussDB)DWS:步骤五：准备DWS对接Flink工具dws-connector-flink

步骤五：准备DWS对接Flink工具dws-connector-flink dws-connector-flink是一款基于DWS JDBC接口实现对接Flink的一个工具。在配置 DLI 作业阶段，将该工具及依赖放入Flink类加载目录，提升Flink作业入库DWS的能力。浏览器访问https://mvnrepository.com/artifact/com.huaweicloud.dws。在软件列表中选择最新版本的DWS Connectors Flink，本实践选择DWS Connector Flink 2 12 1 12。单击“1.0.4”分支，实际请以官网发布的新分支为准。单击“View ALL”。单击dws-connector-flink_2.12_1.12-1.0.4-jar-with-dependencies.jar，下载到本地。创建OBS桶，本实践桶名设置为obs-flink-dws，并将此文件上传到OBS桶下，注意桶也保持与DLI在一个区域下，本实践为“ 华北-北京四”。图15 上传jar包到OBS桶

数据仓库服务 GAUSSDB(DWS) 数据迁移实践

数据仓库服务 GAUSSDB(DWS)-基于GDS实现两套DWS集群间的数据互联互通实践:步骤三：安装并启动GDS服务器

步骤三：安装并启动GDS服务器参见弹性云服务的购买弹性云服务器创建弹性云服务器，注意E CS 与DWS创建在同一个区域、VPC内，本例ECS镜像选择CentOS 7.6版本。下载GDS工具包。登录 GaussDB (DWS)管理控制台。在左侧导航栏中，单击“连接管理”。在“命令行客户端”的下拉列表中，选择对应版本的GDS客户端。请根据集群版本和安装客户端的操作系统，选择对应版本。客户端CPU架构要和集群一致，如果集群是X86规格，则也应该选择X86客户端。单击“下载”。使用SFTP工具将下载的客户端（本实验以dws_client_8.2.x_redhat_x64.zip为例）上传至ECS的/opt目录下。使用root用户登录ECS执行以下命令，进入/opt目录，解压客户端。 1 2 cd /opt unzip dws_client_8.2.x_redhat_x64.zip 创建GDS专有用户及所属用户组，此用户用于启动GDS及读取源数据。 1 2 groupadd gdsgrp useradd -g gdsgrp gds_user 分别修改工具包和数据源文件目录属主为GDS专有用户。 1 2 chown -R gds_user:gdsgrp /opt/gds/bin chown -R gds_user:gdsgrp /opt 切换到gds用户。 1 su - gds_user 执行以下命令进入gds目录，并执行环境变量。 1 2 cd /opt/gds/bin source gds_env 执行以下命令启动gds，其中ECS内网IP通过ECS控制台查看如下。 1 /opt/gds/bin/gds -d /opt -p ECS内网IP:5000 -H 0.0.0.0/0 -l /opt/gds/bin/gds_log.txt -D -t 2 放通ECS到DWS之间的网络端口。由于GDS服务器（即本实验ECS）与DWS需要建立通讯，ECS默认的安全组入方向并没有放通GDS端口5000和DWS端口8000，需执行以下步骤：回到弹性云服务器ECS 的控制台，单击云服务器名称进入详情。切换到“安全组”页签，单击“配置规则”。选择“入方向规则”，单击“添加规则”，优先级输入1，协议端口输入5000，单击“确认”。按以上方式，另外添加一行8000的入方向规则。

数据仓库服务 GAUSSDB(DWS) 数据迁移实践

云服务器内容精选

数据迁移实践

7*24

备案

专业服务

退订

建议反馈

售前咨询热线