检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为确保安全性,DSC会对其创建的文件和文件夹进行访问控制。要访问这些文件和文件夹,用户必须拥有所需权限。例如,用户需要权限600/400访问目标文件和日志文件,需要权限700访问目标文件夹和日志文件夹。此外,该工具不在日志中保存敏感数据,以确保数据安全。 --input-folder中指定的文件或文件夹
有关命令行参数,详情请参见数据库模式迁移。 DSC对输入文件进行格式化,并将格式化后的文件归档到输出文件夹中。用户可以直接比对该输出文件和输出文件。 确保输入路径中没有空格。如果存在空格,则DSC会报错。详情请参见故障处理。 日志详情请参见日志参考。 如果输出文件夹中包含子文件夹或文件,DSC会在执行迁移前将其
导入时“location”建议指定到具体文件名。如果仅指定到OBS桶或目录,则会导入其中的所有文本文件。当数据格式不正确时,则会报错。如果设置了容错,则容错表可能导入大量数据。 支持OBS单桶多文件导入,根据文件名前缀进行匹配,匹配到的文件都会被导入。 例如,有以下两个数据文件,只要在“locati
0x00.”。 原因分析 业务数据文件从Oracle导入,文件编码为utf-8。该报错还会提示行数,由于文件特别大,vim命令打不开文件,于是用sed命令把报错行数提出来,再用vim命令打开,发现并没有什么异常。用split命令按行数切割后,部分文件也可以导入。 经分析GaussD
错误原因:列存分区表插入,写入缓存文件错误。 解决办法:根据错误信息中写文件失败信息处理。 GAUSS-03772: "could not read cache file '%s': %m" SQLSTATE: XX000 错误原因:列存分区表插入,读取缓存文件错误。 解决办法:根据错误信息中读文件失败信息处理。
tput --application-lang -A 字符串 用于迁移的应用程序语言解析器。 SQL:迁移SQL文件中的SQL模式/脚本。 Perl:迁移Perl文件中的BTEQ/SQL_LANG脚本。 SQL Perl SQL --application-lang Perl 或
导入时“location”建议指定到具体文件名。如果仅指定到OBS桶或目录,则会导入其中的所有文本文件。当数据格式不正确时,则会报错。如果设置了容错,则容错表可能导入大量数据。 支持OBS单桶多文件导入,根据文件名前缀进行匹配,匹配到的文件都会被导入。 例如,有以下两个数据文件,只要在“locati
外表语句中指定OBS文件编码格式是UTF-8,但是导入数据时报错,如何处理? 原因分析 存储在OBS中的源文件含有非UTF-8的数据。 处理方法 排查报错的源文件,检查是否含有非UTF-8的数据,例如中文字符。如果源文件中含有非UTF-8的数据,请先将源文件转换成UTF-8的格式
TEXTFILE; 将product_info.txt数据文件导入Hive。 Hive对接OBS场景:回到OBS管理控制台,单击并行文件系统名称,选择“对象 > 上传对象”,将product_info.txt上传至OBS并行文件系统中product_info表路径下。 Hive
参数说明:导入时是否区分“导入文件记录数为空”和“导入文件不存在”。raise_errors_if_no_files=TRUE,则“导入文件不存在”的时候,GaussDB(DWS)将抛出“文件不存在的”错误。 参数类型:SUSET 取值范围:布尔型 on表示导入时区分“导入文件记录数为空”和“导入文件不存在”。
Convertor转换完含有SQL语句的源文件后,在目标GaussDB(DWS)上执行转换后的文件,并生成文件执行成功和失败的明细报告。 Database Schema Convertor完成迁移后,会调用迁移后验证脚本(通过配置项控制)。此验证脚本(配置详情见配置文件)会连接到目标GaussDB数据库并执行。
参数说明:导入时是否区分“导入文件记录数为空”和“导入文件不存在”。raise_errors_if_no_files=TRUE,则“导入文件不存在”的时候,GaussDB(DWS)将上报“文件不存在的”错误。 参数类型:SUSET 取值范围:布尔型 on表示导入时区分“导入文件记录数为空”和“导入文件不存在”。
22P04 错误原因:读取COPY文件出现失败。 解决办法:请检查文件数据格式合法性,具体请参考《SQL语法参考》的“COPY”章节。 GAUSS-01248: "invalid field size" SQLSTATE: 22P04 错误原因:读取COPY文件中数据大小错误。 解
n”,用于指定导出的数据文件存放路径。 不需要指定文件名。 当有多个路径时,若导出数据源数少于路径数时,多余的路径会只生成文件不写入数据。 示例: GDS数据服务器IP为192.168.0.90,假定启动GDS时设置的监听端口为5000,设置的导出后文件存放目录为“/output_data/”。
成功写 DSC读取、处理文件并将输出写入磁盘。这个过程被记录到成功写日志文件中。在某些情况下,用户可通过此文件了解哪些文件已处理成功。在重新运行的情况下,用户可以跳过这些文件运行剩余的文件。该文件位于log文件夹中。日志文件包括日期、时间、文件名等详细信息。此日志文件的日志记录级别为INFO。
创建用户gds_user及其所属的用户组gdsgrp。此用户用于启动GDS,且需要拥有读取数据源文件目录的权限。 groupadd gdsgrp useradd -g gdsgrp gds_user 修改工具包以及数据源文件目录属主为创建的用户gds_user及其所属的用户组gdsgrp。 chown
日志概述 日志文件是DSC所有操作和状态的存储库。支持以下日志文件: SQL迁移日志 DSC.log:SQL迁移的所有活动。 DSCError.log:SQL迁移错误。 successRead.log:SQL迁移中对输入文件的成功读次数。 successWrite.log:SQL迁移中对输入文件的成功写次数。
write offset(%ld), file size(%ld)" SQLSTATE: XX000 错误原因:异步IO写数据文件前检测到文件大小错误。 解决办法:检测文件状态是否正确,可尝试重新执行。 GAUSS-04452: "async write failed, write_count(%ld)
XX000 错误原因:无法获得文件的状态信息。 解决办法:检查文件状态是否异常,例如文件不存在,文件读取权限不够等。 GAUSS-02983: "requested length too large" SQLSTATE: 22023 错误原因:读取文件时,需要读取的长度超过了最大值。 解决办法:减少读取长度,减少到1G以下。
将每节的SQL语句拷贝并另存为.sql文件。例如,创建一个包含“创建初始表”SQL语句的create_table_fir.sql文件。创建后使用SQL客户端工具执行.sql文件效率更高,且利于统计用例的总耗费时间。使用gsql运行.sql文件的方法如下: 1 gsql -d database_name