检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下载并安装JDBC驱动包 操作场景 JDBC用于连接DLI服务,您可以在Maven获取JDBC安装包,或在DLI管理控制台下载JDBC驱动文件。 本文介绍通过JDBC连接DLI并提交SQL作业。
驱动包名为“dws_8.1.x_jdbc_driver.zip”,解压后有两个JDBC的驱动jar包,分别为“gsjdbc4.jar”和“gsjdbc200.jar”。
JDBC包与驱动类 JDBC包 从管理控制台下载包名为dws_8.1.x_jdbc_driver.zip。 请参见下载JDBC或ODBC驱动。
驱动力调研 操作场景 对上云迁移驱动力的系统评估,有助于帮助您针对性地制定上云策略和迁移方案。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏“调研>上云调研”,进入“上云调研”页面。在页面左上角的当前项目下拉列表中选择迁移项目。 单击驱动力调研框中的“开始调研”按钮,进入“驱动力评估”页面。
上传MySQL数据库连接驱动 操作场景 Loader作为批量数据导出的组件,可以通过关系型数据库导入、导出数据。在连接关系型数据库前,需提前手动上传驱动。 操作步骤 修改关系型数据库对应的驱动jar包文件权限。
MySQL-jdbc采集器(app-discovery-mysql-jdbc) 通过jdbc连接MySQL的processlist表,采集客户端host和port信息。参数配置说明参见表1。 表1 MySQL-jdbc采集器参数配置说明 参数 必选 配置说明 output_path
如果遇到同一JVM进程内需要同时访问PostgreSQL及GaussDB的场景,请使用此驱动包。 各驱动包只是驱动类加载路径和url前缀不同,接口功能上相同。 jdbc发布件jar包按照架构分类,除gscejdbc.jar外,不必与jar包的部署环境一致。
解压后JDBC的驱动jar包: gaussdbjdbc.jar:主类名为“com.huawei.gaussdb.jdbc.Driver”,数据库连接的url前缀为“jdbc:gaussdb”,推荐使用此驱动包。本章的Java代码示例默认使用gaussdbjdbc.jar包。
解压后JDBC的驱动jar包: gsjdbc4.jar:该驱动包适用于从PostgreSQL迁移业务的场景,驱动类和加载路径与迁移前保持一致,但接口支持情况不完全一致,未支持的接口需要业务侧进行调整。
如果遇到同一JVM进程内需要同时访问PostgreSQL及GaussDB的场景,请使用此驱动包。 各驱动包只是驱动类加载路径和url前缀不同,接口功能上相同。 jdbc发布件jar包按照架构分类,除gscejdbc.jar外,不必与jar包的部署环境一致。
2.54.jar和datasource.jar包的OBS路径,以数组形式传入,路径带双引号,以英文逗号隔开。例如:["obs://mgc-test/data/datasource.jar","obs://mgc-test/data/fastjson-1.2.54.jar"] 如果是专线迁移,需要填写以下8个参数:
JDBC包与驱动类 JDBC包 从管理控制台下载包名为dws_8.x.x_jdbc_driver.zip的软件包。 请参见下载JDBC或ODBC驱动。
2.54.jar和datasource.jar包的OBS路径,以数组形式传入,路径带双引号,以英文逗号隔开。例如:["obs://mgc-test/data/datasource.jar","obs://mgc-test/data/fastjson-1.2.54.jar"] 如果是专线迁移,需要填写以下8个参数:
1.0.0.jar包的OBS路径。例如:obs://mgc-test/data/migration-dli-spark-1.0.0.jar mgc.mc2dli.data.migration.dli.spark.jars 填写存放fastjson-1.2.54.jar和datasource
MySQL-generallog采集器(app-discovery-mysql-generallog) 通过MySQL的general-log日志,采集客户端host和port信息。参数配置说明参见表1。 表1 MySQL-generallog采集器参数配置说明 参数 必选 配置说明
tor-server。 新建文件 start.sh 并写入以下信息: nohup java -jar -Xms256M -Xmx512M rda-collector-server.jar >/dev/null 2>&1 & 其中“-Xms512M -Xmx1024M”即为可进行配置的JVM参数。-Xms512M
t/spark3-delta/delta-core_2.12-*.jar,/opt/apps/DELTALAKE/deltalake-current/spark3-delta/delta-storage-*.jar' 注意: 参数值需要根据实际环境目录和Delta Lake 的版本进行替换。
创建OBS桶并上传jar包 在华为云OBS创建一个存储桶,并将数据迁移过程中所依赖的 Java 文件(jar包)上传至该OBS桶。创建OBS桶的方法请参考创建桶。上传文件的方法请参考上传对象。 数据迁移所依赖的jar包分别为:migration-dli-spark-1.0.0.jar、fastjson-1
理控制台。 在左侧导航栏单击“迁移工具”,进入迁移工具页面。 在Linux区域,单击“下载安装包”或“复制下载命令”,将Edge安装程序下载到Linux主机。 执行如下命令,解压Edge安装包。 tar zxvf Edge.tar.gz 执行如下命令,进入Edge安装目录中的scripts目录。
迁移中心管理控制台。 在左侧导航栏单击“迁移工具”,进入迁移工具页面。 在Linux版区域,单击“下载安装包”或“复制下载命令”,将Edge安装包下载到Linux主机。 安装最新下载的Edge,方法请参考安装Linux版本Edge。 父主题: 如何升级Edge至最新版本?
<application-jar> \ [application-arguments] 参数解释: --class:Spark应用的类名。 --master:Spark用于所连接的master,如yarn-client,yarn-cluster等。 application-jar:Spark应用的jar包的路径。
移中心管理控制台。 在左侧导航栏单击“迁移工具”,进入迁移工具页面。 在Windows区域,单击“下载安装包”,将Edge安装程序下载到Windows主机。 将下载的Edge安装包解压,双击Edge安装程序,单击“下一步”。如果无法正常启动安装程序,请尝试以兼容性模式运行,方法请参见已兼容性模式运行程序。
移中心管理控制台。 在左侧导航栏单击“迁移工具”,进入迁移工具页面。 在Windows区域,单击“下载安装包”,将Edge安装程序下载到Windows主机。 将下载的Edge安装包解压,双击Edge安装程序,单击“下一步”。如果无法正常启动安装程序,请尝试以兼容性模式运行,方法请参见已兼容性模式运行程序。
支持规格评估的数据库类型 目前支持规格评估的数据库类型包括:MySQL、PostgreSQL、MongoDB、Oracle和SQL Server。 父主题: 规格评估
等软件,导致迁移后目的端VPC内的主机受到影响,迁移中心概不负责。 驱动不可用免责声明 使用AZ迁移工作流进行主机跨AZ迁移时,如果源端主机为XEN架构类型,需要您自行安装KVM驱动,由于没有安装相关KVM驱动导致迁移后无法启动的相关问题,迁移中心概不负责。 密码不一致免责声明
上云调研 上云成本分析(凭证) 驱动力调研 准备度调研
括:C1、C2、S1、M1、E1、E2、Et2、D1、H1、G1、G2型弹性云服务器。 图1 查看主机规格 安装驱动 源端为Linux主机,请参考以下任一方案安装驱动。 XEN实例变更为KVM实例(Linux-自动配置)中的步骤1~步骤2 XEN实例变更为KVM实例(Linux-手动配置)中的步骤1~步骤3
下载并安装Edge 安装Windows版本
下载并安装Edge 安装Windows版本 安装Linux版本