云服务器内容精选

  • 方案概述 用户可以将本地NAS存储中的数据,通过云专线和rsync工具迁移至云上SFS Turbo文件系统中,进行云上业务拓展。 此方案通过在云上创建一台Linux操作系统的云服务器,来连接本地NAS存储以及云上SFS Turbo文件系统的通信,并通过这台服务器将本地NAS存储中的数据迁移至云上。 将云上NAS存储数据迁移至SFS Turbo文件系统中也可以参考本方案,云上NAS和SFS Turbo文件系统需要配置在同一个VPC下。
  • 操作步骤 登录已创建好的Linux系统云服务器,用于同时访问本地NAS存储和SFS Turbo文件系统。 输入以下挂载命令,用于访问本地NAS存储。 mount -t nfs -o vers=3,timeo=600,noresvport,nolock,tcp 本地NAS挂载地址 /mnt/src 输入以下挂载命令,用于访问SFS Turbo文件系统。 mount -t nfs -o vers=3,timeo=600,noresvport,nolock,tcp 文件系统挂载地址 /mnt/dst 在Linux云服务器中执行以下命令安装rsync工具。 yum install rsync 图1 安装rsync工具 源端服务器和目的端服务器均需要安装rsync工具,否则将会报错。 安装完成后,可以输入以下命令查询rsync工具的安装和版本情况。 rsync -version 图2 查看工具安装情况 执行以下命令,将源端服务器/mnt/src目录中的数据全量同步迁移至目的端服务器/mnt/dst目录(文件系统)中。 rsync -avP /mnt/src /mnt/dst 图3 全量同步数据
  • 步骤五:准备DWS对接Flink工具dws-connector-flink dws-connector-flink是一款基于DWS JDBC接口实现对接Flink的一个工具。在配置 DLI 作业阶段,将该工具及依赖放入Flink类加载目录,提升Flink作业入库DWS的能力。 浏览器访问https://mvnrepository.com/artifact/com.huaweicloud.dws。 在软件列表中选择最新版本的DWS Connectors Flink,本实践选择DWS Connector Flink 2 12 1 12。 单击“1.0.4”分支,实际请以官网发布的新分支为准。 单击“View ALL”。 单击dws-connector-flink_2.12_1.12-1.0.4-jar-with-dependencies.jar,下载到本地。 创建OBS桶,本实践桶名设置为obs-flink-dws,并将此文件上传到OBS桶下,注意桶也保持与DLI在一个区域下,本实践为“ 华北-北京四”。 图15 上传jar包到OBS桶
  • 步骤三:安装并启动GDS服务器 参见弹性云服务的购买弹性云服务器创建弹性云服务器,注意E CS 与DWS创建在同一个区域、VPC内,本例ECS镜像选择CentOS 7.6版本。 下载GDS工具包。 登录 GaussDB (DWS)管理控制台。 在左侧导航栏中,单击“连接管理”。 在“命令行客户端”的下拉列表中,选择对应版本的GDS客户端。 请根据集群版本和安装客户端的操作系统,选择对应版本。 客户端CPU架构要和集群一致,如果集群是X86规格,则也应该选择X86客户端。 单击“下载”。 使用SFTP工具将下载的客户端(本实验以dws_client_8.2.x_redhat_x64.zip为例)上传至ECS的/opt目录下。 使用root用户登录ECS执行以下命令,进入/opt目录,解压客户端。 1 2 cd /opt unzip dws_client_8.2.x_redhat_x64.zip 创建GDS专有用户及所属用户组,此用户用于启动GDS及读取源数据。 1 2 groupadd gdsgrp useradd -g gdsgrp gds_user 分别修改工具包和数据源文件目录属主为GDS专有用户。 1 2 chown -R gds_user:gdsgrp /opt/gds/bin chown -R gds_user:gdsgrp /opt 切换到gds用户。 1 su - gds_user 执行以下命令进入gds目录,并执行环境变量。 1 2 cd /opt/gds/bin source gds_env 执行以下命令启动gds,其中ECS内网IP通过ECS控制台查看如下。 1 /opt/gds/bin/gds -d /opt -p ECS内网IP:5000 -H 0.0.0.0/0 -l /opt/gds/bin/gds_log.txt -D -t 2 放通ECS到DWS之间的网络端口。 由于GDS服务器(即本实验ECS)与DWS需要建立通讯,ECS默认的安全组入方向并没有放通GDS端口5000和DWS端口8000,需执行以下步骤: 回到弹性 云服务器ECS 的控制台,单击云服务器名称进入详情。 切换到“安全组”页签,单击“配置规则”。 选择“入方向规则”,单击“添加规则”,优先级输入1,协议端口输入5000,单击“确认”。 按以上方式,另外添加一行8000的入方向规则。