检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持的数据类型 目前大数据领域,主流文件格式为ORC。GaussDB(DWS)主要支持ORC文件格式。
为确保安全性,DSC会对其创建的文件和文件夹进行访问控制。要访问这些文件和文件夹,用户必须拥有所需权限。例如,用户需要权限600/400访问目标文件和日志文件,需要权限700访问目标文件夹和日志文件夹。此外,该工具不在日志中保存敏感数据,以确保数据安全。
原因分析 业务数据文件从Oracle导入,文件编码为utf-8。该报错还会提示行数,由于文件特别大,vim命令打不开文件,于是用sed命令把报错行数提出来,再用vim命令打开,发现并没有什么异常。用split命令按行数切割后,部分文件也可以导入。
原因分析 存储在OBS中的源文件含有非UTF-8的数据。 处理方法 排查报错的源文件,检查是否含有非UTF-8的数据,例如中文字符。如果源文件中含有非UTF-8的数据,请先将源文件转换成UTF-8的格式,并重新上传到OBS,然后再执行导入数据的操作。 父主题: 数据导入/导出
上传数据到OBS 操作场景 从OBS导入数据到集群之前,需要提前准备数据源文件,并将数据源文件上传到OBS。如果您的数据文件已经在OBS上了,则只需完成上传数据到OBS中的2~3。 准备数据文件 准备需要上传到OBS的数据源文件。
GAUSS-01232: "invalid COPY file header (missing flags)" SQLSTATE: 22P04 错误原因:COPY数据丢失文件头。 解决办法:COPY数据文件被破坏,请检查文件。
SQL:迁移SQL文件中的SQL模式/脚本。 Perl:迁移Perl文件中的BTEQ/SQL_LANG脚本。 SQL Perl SQL --application-lang Perl 或 -A Perl --conversion-type -M 字符串 迁移类型。
参数类型:SUSET 取值范围:布尔型 on表示导入时区分“导入文件记录数为空”和“导入文件不存在”。 off表示导入时不区分“导入文件记录数为空”和“导入文件不存在”。
参数类型:SUSET 取值范围:布尔型 on表示导入时区分“导入文件记录数为空”和“导入文件不存在”。 off表示导入时不区分“导入文件记录数为空”和“导入文件不存在”。
参数类型:SUSET 取值范围:布尔型 on表示导入时区分“导入文件记录数为空”和“导入文件不存在”。 off表示导入时不区分“导入文件记录数为空”和“导入文件不存在”。
迁移验证 迁移后验证 Database Schema Convertor转换完含有SQL语句的源文件后,在目标GaussDB(DWS)上执行转换后的文件,并生成文件执行成功和失败的明细报告。
数据文件是否包含标题行(header)为默认值false,即导出时数据文件第一行被识别为数据。 导出数据文件换行符样式(EOL)为0X0A。
日志概述 日志文件是DSC所有操作和状态的存储库。支持以下日志文件: SQL迁移日志 DSC.log:SQL迁移的所有活动。 DSCError.log:SQL迁移错误。 successRead.log:SQL迁移中对输入文件的成功读次数。
解决办法:HDFS上该目录下存在文件,确保该目录下的文件已经没有必要存在时,手动删除目录下面的文件。 GAUSS-04456: "could not initialize DFS connector hash table" SQLSTATE: XX000 错误原因:系统内部错误。
Overwrite:用于覆盖输出文件夹中的现有文件。 指定是否必须覆盖输出文件夹中的文件。 Delete:用于删除目标文件夹中的所有文件。 Cancel:用于在输出/目标文件夹中存在文件时取消操作。
由于云上GaussDB(DWS)是全托管服务,用户无法登录后台,无法使用copy进行导入导出文件,所以云上将copy语法禁掉。云上推荐将数据文件放到obs上,使用obs外表进行入库,如果需要使用copy导入导出数据,可以参考如下方法: 将数据文件放到客户端的机器上。
关闭Data Studio前保存文件终端 退出前,Data Studio会提醒用户保存在终端中所做的编辑。 执行以下步骤保存文件终端: 单击Data Studio的“关闭”按钮,弹出“退出应用程序”对话框。 单击“标准退出”。 弹出“保存文件”对话框,会显示未保存的文件终端。
如因文件不可读等相关可恢复因素导致,请恢复后重新启动。2. 如因文件损坏磁盘故障等不可恢复因素导致,请从备份中恢复集群。"
需要收集的主要数据源格式信息如下: format:外表中数据源文件的格式。OBS外表导入支持CSV、TEXT格式。缺省值为TEXT。 header:指定导出数据文件是否包含标题行,header只能用于CSV格式的文件中。
日志记录 DSC将所有日志、告警和错误信息保存到log文件夹下的perlDSC.log文件中。日志文件包含执行迁移的用户、迁移的文件、时间戳等详细信息。