数据湖探索 DLI-典型场景示例:迁移DWS数据至DLI:步骤一:数据准备

时间:2024-11-14 11:04:50

步骤一:数据准备

  • DWS集群上创建数据库和表。
    1. 参考使用gsql命令行客户端连接DWS集群连接已创建的DWS集群。
    2. 执行以下命令连接DWS集群的默认数据库“gaussdb”:
      gsql -d gaussdb -h DWS集群连接地址 -U dbadmin -p 8000 -W password -r
      • gaussdb:DWS集群默认数据库。
      • DWS集群连接地址:请参见获取集群连接地址进行获取。如果通过公网地址连接,请指定为集群“公网访问地址”或“公网访问 域名 ”,如果通过内网地址连接,请指定为集群“内网访问地址”或“内网访问域名”。如果通过弹性负载均衡连接,请指定为“弹性负载均衡地址”。
      • dbadmin:创建集群时设置的默认管理员用户名。
      • -W:默认管理员用户的密码。
    3. 在命令行窗口输入以下命令创建数据库“testdwsdb”。
      CREATE DATABASE testdwsdb;
    4. 执行以下命令,退出gaussdb数据库,连接新创建的数据库“testdwsdb”。
      \q
      gsql -d testdwsdb -h DWS集群连接地址 -U dbadmin -p 8000 -W password -r
    5. 执行以下命令创建表并插入数据。
      创建表:
      CREATE TABLE table1(id int, a char(6), b varchar(6),c varchar(6)) ;
      插入表数据:
      INSERT INTO table1 VALUES(1,'123','456','789');
      INSERT INTO table1 VALUES(2,'abc','efg','hif');
    6. 查询表数据确认数据插入成功。
      select * from table1;
      图1 查询表数据
  • DLI 上创建数据库和表。
    1. 登录DLI管理控制台,选择“SQL编辑器”,在SQL编辑器中“执行引擎”选择“spark”,“队列”选择已创建的SQL队列。

      在编辑器中输入以下语句创建数据库,例如当前创建迁移后的DLI数据库testdb。详细的DLI创建数据库的语法可以参考创建DLI数据库

      create database testdb;
    2. 在“SQL编辑器”中,数据库选择“testdb”,执行以下建表语句创建数据库下的表。详细的DLI建表语法可以参考创建DLI表
      create table tabletest(id INT, name1 string, name2 string, name3 string);
support.huaweicloud.com/usermanual-dli/dli_01_0657.html