检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为确保安全性,DSC会对其创建的文件和文件夹进行访问控制。要访问这些文件和文件夹,用户必须拥有所需权限。例如,用户需要权限600/400访问目标文件和日志文件,需要权限700访问目标文件夹和日志文件夹。此外,该工具不在日志中保存敏感数据,以确保数据安全。 --input-folder中指定的文件或文件夹
library配置。 将1解压好的instantclient文件目录复制到Oracle主目录中(例如,D:\Oracle\instantclient_19_17) 。 将instantclient文件中的oci.dll文件目录复制到OCI库中(例如,D:\Oracle\instantclient_19_17\oci
3.2.0rc1/tools目录后,执行以下命令生成数据。 因为tpcds 1000X的数据,单个表的数据文件较大,我们采取分片生成的策略。 Tpcds 1000X数据文件总大小约930GB,请确认ECS的磁盘空间足够。 由于生成的数据较大,只启动一个GDS导入数据会比较慢,建议
有关命令行参数,详情请参见数据库模式迁移。 DSC对输入文件进行格式化,并将格式化后的文件归档到输出文件夹中。用户可以直接比对该输出文件和输出文件。 确保输入路径中没有空格。如果存在空格,则DSC会报错。详情请参见故障处理。 日志详情请参见日志参考。 如果输出文件夹中包含子文件夹或文件,DSC会在执行迁移前将其
将导入数据拆分为多个文件 导入大数据量的数据时,通常需要较长的时间及耗费较多的计算资源。 从OBS上导入数据时,如下方法可以提升导入性能:将数据文件存储到OBS前,尽可能均匀地将文件切分成多个,文件的数量为DN的整数倍更适合。 在导入前后验证数据文件 从OBS导入数据时,首先将您的文件上传到O
支持的数据类型 目前大数据领域,主流文件格式为ORC。GaussDB(DWS)主要支持ORC文件格式。用户利用HIVE将数据导出存储为ORC文件格式,使用GaussDB(DWS)通过只读外表对ORC文件内的数据进行查询分析,因此,需要在ORC文件格式支持的数据类型与GaussDB(
0x00.”。 原因分析 业务数据文件从Oracle导入,文件编码为utf-8。该报错还会提示行数,由于文件特别大,vim命令打不开文件,于是用sed命令把报错行数提出来,再用vim命令打开,发现并没有什么异常。用split命令按行数切割后,部分文件也可以导入。 经分析GaussD
tput --application-lang -A 字符串 用于迁移的应用程序语言解析器。 SQL:迁移SQL文件中的SQL模式/脚本。 Perl:迁移Perl文件中的BTEQ/SQL_LANG脚本。 SQL Perl SQL --application-lang Perl 或
参数说明:导入时是否区分“导入文件记录数为空”和“导入文件不存在”。raise_errors_if_no_files=TRUE,则“导入文件不存在”的时候,GaussDB(DWS)将抛出“文件不存在的”错误。 参数类型:SUSET 取值范围:布尔型 on表示导入时区分“导入文件记录数为空”和“导入文件不存在”。
Convertor转换完含有SQL语句的源文件后,在目标GaussDB(DWS)上执行转换后的文件,并生成文件执行成功和失败的明细报告。 Database Schema Convertor完成迁移后,会调用迁移后验证脚本(通过配置项控制)。此验证脚本(配置详情见配置文件)会连接到目标GaussDB数据库并执行。
1.zip 执行如下命令编译生成数据构建工具dbgen。 编译之前需要修改dbgen目录下的两个文件:makefile.suite和tpcd.h 修改makefile.suite文件。 #makefile.suite的更改参数如下(103行-111行): CC = gcc
解决办法:COPY数据文件被破坏,请检查文件。 GAUSS-01233: "unrecognized critical flags in COPY file header" SQLSTATE: 22P04 错误原因:COPY数据文件头无法识别。 解决办法:COPY数据文件被破坏,请检查文件。 GAUSS-01234:
参数说明:导入时是否区分“导入文件记录数为空”和“导入文件不存在”。raise_errors_if_no_files=TRUE,则“导入文件不存在”的时候,GaussDB(DWS)将上报“文件不存在的”错误。 参数类型:SUSET 取值范围:布尔型 on表示导入时区分“导入文件记录数为空”和“导入文件不存在”。
日志概述 日志文件是DSC所有操作和状态的存储库。支持以下日志文件: SQL迁移日志 DSC.log:SQL迁移的所有活动。 DSCError.log:SQL迁移错误。 successRead.log:SQL迁移中对输入文件的成功读次数。 successWrite.log:SQL迁移中对输入文件的成功写次数。
n”,用于指定导出的数据文件存放路径。 不需要指定文件名。 当有多个路径时,若导出数据源数少于路径数时,多余的路径会只生成文件不写入数据。 示例: GDS数据服务器IP为192.168.0.90,假定启动GDS时设置的监听端口为5000,设置的导出后文件存放目录为“/output_data/”。
write offset(%ld), file size(%ld)" SQLSTATE: XX000 错误原因:异步IO写数据文件前检测到文件大小错误。 解决办法:检测文件状态是否正确,可尝试重新执行。 GAUSS-04452: "async write failed, write_count(%ld)
记录级别。 日志记录 DSC将所有日志、告警和错误信息保存到log文件夹下的perlDSC.log文件中。日志文件包含执行迁移的用户、迁移的文件、时间戳等详细信息。 perlDSC.log的文件结构如下: 2018-07-08 13:35:10 INFO teradatacore
指定分片数,本例为10片。 -child 指定当前是生成分片中的第几片,本例不需修改。 执行以下命令,判断数据文件的生成进度。也可以通过ps ux|grep dsdgen,查看生成数据文件的进程是否退出。 du -sh /data1/script/tpcds-kit/tpcds1000X/*
指定要在输出/目标文件中执行的操作。 Overwrite:用于覆盖输出文件夹中的现有文件。 指定是否必须覆盖输出文件夹中的文件。 Delete:用于删除目标文件夹中的所有文件。 Cancel:用于在输出/目标文件夹中存在文件时取消操作。 overwrite delete cancel overwrite t
Studio前保存文件终端 退出前,Data Studio会提醒用户保存在终端中所做的编辑。 执行以下步骤保存文件终端: 单击Data Studio的“关闭”按钮,弹出“退出应用程序”对话框。 单击“标准退出”。 弹出“保存文件”对话框,会显示未保存的文件终端。 选择需要保存的文件终端。 单击“确定”。