检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
验证 在DWS新建的test数据库下,执行以下SQL语句查询表apex2_dynamic_add_remain_test的行数,如与源数据行数一致,说明数据一致。 1 SELECT COUNT(*) FROM db_user01.apex2_dynamic_add_remain_test;
使用GDS从集群导出到数据之前,要提前准备需要导出的数据,并规划导出的路径。 规划导出路径 Remote模式 以root用户登录GDS数据服务器,创建导出的数据文件存放目录“/output_data”。 1 mkdir -p /output_data (可选)创建用户及所属的用户组。此用户为启动GDS的用户,该用户需要拥有导出数据文件存放目录的写权限。
将以下数据文件上传到OBS桶“mybucket02”的“input_data”目录中。 1 product_info2.csv 为导入用户设置OBS桶的读取权限。 在从OBS导入数据到集群时,执行导入操作的用户需要取得数据源文件所在OBS桶的读取权限。通过配置桶的ACL权限,可以将读取权限授予指定的用户账号。 具体
单击“选择”,从集群列表中选择要连接的DWS集群。 说明: 系统会自动刷出同一个区域、同一个VPC下的DWS集群,如果没有,则需要手动填写网络已连通的DWS的访问IP。 端口 8000 数据库名称 test 用户名 dbadmin 密码 dbadmin用户密码 使用Agent 否 父主题: 迁移表全量数据
迁移表全量数据 配置DWS数据源连接 配置Oracle数据源连接 表迁移 验证 父主题: 使用CDM迁移Oracle数据至GaussDB(DWS)集群
ANALYZE Teradata的ANALYZE语句用于对表的迁移。 输入:CREATE TABLE,使用INDEX 1 2 CREATE TABLE EMP27 AS emp21 WITH DATA PRIMARY INDEX (EMPNO) ON COMMIT PRESERVE
由于DSC批量无序地读取输出文件夹,因此,建议在迁移开始后不要对输入文件夹和文件进行任何修改,这些异常操作将影响DSC的输出结果。 将所有待迁移的 SQL文件复制到输入文件夹。 如果源文件的编码格式不是UTF-8,请执行以下步骤: 打开config文件夹中的application.properties文件。
VOLATILE 输入文件中包含表的专用关键词VOLATILE,但GaussDB(DWS)不支持该关键词。因此,DSC在迁移过程中用关键词LOCAL TEMPORARY替换该关键词。根据配置输入,Volatile表在迁移中标记为本地临时表或无日志表。 输入:CREATE VOLATILE
COLUMNS的迁移 --------core - 文件夹:Teradata关键脚本 - teradatacore.pm 脚本:执行Perl迁移的脚本 配置DSC和迁移属性 DSC配置涉及DSC/config目录中的配置文件,请根据表3配置对应的参数。 表3 DSC配置参数 迁移场景 配置文件
约束 表中的约束应用于多列。DSC支持以下约束: REFERENCES约束/FOREIGN KEY:目前无法通过工具迁移。 PRIMARY KEY约束:可通过工具迁移。 UNIQUE约束:可通过工具迁移。 输入:CREATE TABLE,使用CONSTRAINT 1 2 3
目前,DSC支持迁移初始CREATE/ALTER语句中的TITLE命令,但不支持后续对TITLE指定列的引用。例如,在下面的CREATE TABLE语句中,带有TITLE Employee ID的列eid在迁移后被注释掉,但是SELECT语句中对eid的引用将保持原样。 输入
ORA_EXT模式中创建一个LAST_DAY函数。迁移后的语句将使用此新函数MIG_ORA_EXT.LAST_DAY,如下示例。 在使用此函数之前,请执行如下操作: 创建并使用MIG_ORA_EXT模式。 复制custom scripts文件的内容,并在要执行迁移的所有目标数据库中执行此脚本。详情请参见迁移流程。
Netezza语法迁移 表(Netezza) PROCEDURE(使用RETURNS) Procedure 系统函数(Netezza) 算子 DML(Netezza) Unique Index 父主题: DSC
PARTITION 工具不支持迁移分区/子分区,在迁移后脚本中注释掉以下分区/子分区的关键字: 范围分区/子分区 列表分区/子分区 哈希分区/子分区 场景1:假设参数tdMigrateCASE_N和tdMigrateRANGE_N分别设置为comment和range。 以下示例为
MULTISET MULTISET是一个普通表,所有数据库都支持这个表。迁移工具同时支持MULTISET和SET表。 MULTISET表支持与VOLATILE一起使用。 输入:CREATE MULTISET TABLE 1 CREATE VOLATILE MULTISET TABLE
SET用于指定字符列的服务器字符集,CASESPECIFIC用于指定字符数据比较及排序时的大小写情况。 可以使用tdMigrateCharsetCase参数来配置是否迁移CHARACTER SET和CASESPECIFIC。如果该参数设为false,则工具将跳过该查询的迁移并记录消息。
步骤二:创建绑定ELB的DWS集群和目标表 步骤三:创建DLI队列 步骤四:创建Kafka和DWS的增强型跨源连接 步骤五:准备DWS对接Flink工具dws-connector-flink 步骤六:创建并编辑DLI Flink作业 步骤七:通过Kafka客户端生产和修改消息 场景描述 假设数据源K
Help命令迁移 功能 help命令用于提供DSC支持的命令相关的帮助信息。 命令格式 Linux操作系统: ./runDSC.sh --help Windows操作系统: runDSC.bat --help 命令示例 Linux操作系统: ./runDSC.sh --help Windows操作系统:
MapReduce服务(MapReduce Service,简称MRS)是一个基于开源Hadoop生态环境而运行的大数据集群,对外提供大容量数据的存储和分析能力,可解决用户的数据存储和处理需求。有关MRS服务的详细信息,请参考《MapReduce服务用户指南》。 用户可以将海量业务数据,存储在MRS的分析集群,即
DSC支持在执行INSERT期间指定部分列(非全部列)。当输入的INSERT语句不包含输入的CREATE语句中提到的所有列时会出现这种情况。在迁移时,会向这些列添加指定的默认值。 session_mode设为Teradata时支持此功能。 INSERT-INTO-SELECT中的SELECT语句不得包含以下内容: