迁移中心 MGC-准备工作:创建OBS桶并上传jar包

时间:2024-11-06 21:56:32

创建OBS桶并上传jar包

在华为云OBS创建一个存储桶,并将数据迁移过程中所依赖的 Java 文件(jar包)上传至该OBS桶。创建OBS桶的方法请参考创建桶。上传文件的方法请参考上传对象

数据迁移所依赖的jar包分别为:migration-dli-spark-1.0.0.jar、fastjson-1.2.54.jar、datasource.jar。这三个jar包是数据迁移过程中不可或缺的,三个jar包的用途和获取方法如下:

  • migration-dli-spark-1.0.0.jar
    • 用途:用于创建spark会话并提交sql语句。
    • 获取方法:在迁移工具Edge所部属主机的“/opt/cloud/Edge/tools/plugins/collectors/bigdata-migration/dliSpark”路径下获取。
  • fastjson-1.2.54.jar
    • 用途:用于处理JSON格式的数据交换。
    • 获取方法:在迁移工具Edge所部属主机的“/opt/cloud/Edge/tools/plugins/collectors/bigdata-migration/deltaSpark”路径下获取。
  • datasource.jar
    • 用途:包含数据源的配置和连接逻辑,允许服务连接到不同的数据库或数据存储系统。
    • 获取方法:需要您根据需求自行获取并编译,方法请参考Spark Connector
support.huaweicloud.com/usermanual-mgc/mgc_03_0148.html