检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据库、NoSQL、文件系统、大数据平台 CDM提供同构/异构数据源之间批量数据迁移的功能,帮助用户实现从多种类型的数据源迁移数据到GaussDB(DWS)。CDM在迁移数据到GaussDB(DWS)时,采用的是COPY方式和GDS并行导入方式。 数据源丰富,操作简单。 使用DSC工具迁移SQL脚本
SQL迁移 工具支持从Netezza到GaussDB(DWS)的迁移,包括模式、DML、查询、系统函数、PL/SQL等。 执行以下命令设置源数据库、输入和输出文件夹路径、日志路径、应用程序语言以及迁移类型: Linux: ./runDSC.sh --source-db Netezza
工具支持从Teradata到GaussDB(DWS)的迁移,包括模式、DML、查询、系统函数、类型转换等。 执行Teradata SQL迁移 执行以下命令设置源数据库、输入和输出文件夹路径、日志路径和应用程序语言: Linux: ./runDSC.sh --source-db Teradata [--input-folder
Remote模式 请通过URL方式设置参数“location”,用于指定导出的数据文件存放路径。 不需要指定文件名。 当有多个路径时,若导出数据源数少于路径数时,多余的路径会只生成文件不写入数据。 示例: GDS数据服务器IP为192.168.0.90,假定启动GDS时设置的监听端口为
的。 导出操作语法 执行数据导出语法: 1 INSERT INTO [foreign table 表名] SELECT * FROM [源表名]; 编写批处理任务脚本,实现并发批量导出数据。并发量视机器资源使用情况而定。可通过几个表测试,监控资源利用率,根据结果提高或减少并发
取值范围:字符串,符合标识符命名规范。 USING子句 指定源表,源表可以为表、视图或子查询。 ON子句 关联条件,用于指定目标表和源表的关联条件。不支持更新关联条件中的字段。ON关联条件可以是ctid, xc_node_id, tableoid这三个系统列。 WHEN MATCHED子句 当源表和目标表中数据针对关联条件可以匹配上时,选择WHEN
numberAsEpochMsForDatetime 如果数据库为时间类型数据源为数字类型,是否将数据当成时间戳转换为对应时间类型。 false stringToDatetimeFormat 如果数据库为时间类型数据源为字符串类型,按该格式转换为时间类型,该参数配置即开启。 null sink
数据源名称:设置数据源名称。 用户名:设置用户名称。 密码:设置用户的密码。此密码仅用于创建数据源、获取数据源连接以使用WEB-SQL编辑器功能。勾选“记住密码”打开数据源时用默认密码进行登录,不勾选刷新界面或者登录过期打开数据源时需要重新输入密码。 确认无误后,单击“测试连接”。 父主题:
S集群,确保DWS集群与MRS在同一个区域、可用分区,并且在同一VPC子网下。 切换到“MRS数据源”,单击“创建MRS数据源连接”。 选择前序步骤创建名为的“mrs_01”数据源,用户名:admin,密码:用户自定义,单击“确定”,创建成功。 创建外部服务器 使用Data Studio连接已创建好的DWS集群。
浏览器切换到GaussDB(DWS)管理控制台。 左侧导航选择“数据 > SQL编辑器”,单击“新增数据源”。 填写数据库连接信息。 集群:选择本文创建的dws-demo集群。 数据库:保持gaussdb默认。 数据源名称:dws-demo-01。 用户名:dbadmin 密码:步骤一:创建Gauss
取值范围:字符串,符合标识符命名规范。 USING子句 指定源表,源表可以为表、视图或子查询。 ON子句 关联条件,用于指定目标表和源表的关联条件。不支持更新关联条件中的字段。ON关联条件可以是ctid, xc_node_id, tableoid这三个系统列。 WHEN MATCHED子句 当源表和目标表中数据针对关联条件可以匹配上时,选择WHEN
域使用typtypmod记录要应用于其基础类型上的typmod(如果基础类型不使用typmod,则为-1)。如果此类型不是域,则为-1。 typndims integer 如果一个域是数组,则typndims是数组维数的数值(即typbasetype是一个数组类型;域的typelem将匹配基本类型的typelem)。除了数组类型的域以外的类型为0。
Convertor)是一款运行在Linux或Windows操作系统上的命令行工具,致力于向客户提供简单、快速、可靠的应用程序SQL脚本迁移服务,通过内置的语法迁移逻辑解析源数据库应用程序SQL脚本,并迁移为适用于GaussDB(DWS) 数据库的应用程序SQL脚本。DSC不需要连接数据库,可在离线模式下实现零停
域使用typtypmod记录要应用于其基础类型上的typmod(如果基础类型不使用typmod,则为-1)。如果此类型不是域,则为-1。 typndims integer 如果一个域是数组,则typndims是数组维数的数值(即typbasetype是一个数组类型;域的typelem将匹配基本类型的typelem)。除了数组类型的域以外的类型为0。
1247 | typtypmod | 23 | -1 1247 | typndims | 23 | -1 1247 | typcollation | 26
执行数据导入 直接查询外表查看MRS数据源的数据 如果数据量较少,可直接使用SELECT查询外表,即可查看到MRS数据源的数据。 执行以下命令,则可以从外表查询数据: 1 SELECT * FROM foreign_product_info; 查询结果显示如数据文件中所示的数据
使用前必读 概述 欢迎使用数据仓库服务GaussDB(DWS)。数据仓库服务是完全托管的企业级云上数据仓库服务,具备免运维、在线扩展、高效的多源数据加载能力,兼容PostgreSQL生态,并助力企业经济高效地对海量数据进行在线分析,实现数据快速变现。 您可以使用本文档提供的API对数
查看普通表信息 共享自定义数据源给同一租户下的其它IAM用户 登录GaussDB(DWS)管理控制台。 在左侧导航栏中,选择“数据 > SQL编辑器”。 切换至“数据源 > 自定义”面板,创建自定义数据源,务必请记住密码。 右键需要分享的自定义数据源名称,单击“共享数据源”,在共享列表中可查看此数据源已共享的IAM用户列表。
of memory 问题现象 在使用GDS导入数据时,脚本执行报错“out of memory”。 原因分析 使用copy命令或者导入数据时,源数据单行数据的大小超过1GB。 由于源文件中的格式符不成对出现,比如引号,文件格式异常导致系统识别的单行数据过大超过1GB。 处理方法 确保源文件中的引号是成对的。
1247 | typtypmod | 23 | -1 1247 | typndims | 23 | -1 1247 | typcollation | 26