检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为确保安全性,DSC会对其创建的文件和文件夹进行访问控制。要访问这些文件和文件夹,用户必须拥有所需权限。例如,用户需要权限600/400访问目标文件和日志文件,需要权限700访问目标文件夹和日志文件夹。此外,该工具不在日志中保存敏感数据,以确保数据安全。 --input-folder中指定的文件或文件夹
其中DN0和DN1上分配了两个文件,其他DN分配了1个文件。 如果OBS上文件大小都相同时,OBS上的文件数与DN节点数的比例为1:1时导入性能为最好,因为每个DN分配的任务都相同。因此建议将数据文件存储到OBS前,尽可能均匀地将文件切分成多个,文件的数量以DN的整数倍更适合。 图1
RAM:集群规划时分配给集群的最大使用内存。 shared_buffers 参数说明:设置GaussDB(DWS)使用的共享内存大小。增加此参数的值会使GaussDB(DWS)比系统默认设置需要更多的System V共享内存。 参数类型:POSTMASTER 取值范围:整型,128~INT_MAX,单位为8KB。
有关命令行参数,详情请参见数据库模式迁移。 DSC对输入文件进行格式化,并将格式化后的文件归档到输出文件夹中。用户可以直接比对该输出文件和输出文件。 确保输入路径中没有空格。如果存在空格,则DSC会报错。详情请参见故障处理。 日志详情请参见日志参考。 如果输出文件夹中包含子文件夹或文件,DSC会在执行迁移前将其
支持的数据类型 目前大数据领域,主流文件格式为ORC。GaussDB(DWS)主要支持ORC文件格式。用户利用HIVE将数据导出存储为ORC文件格式,使用GaussDB(DWS)通过只读外表对ORC文件内的数据进行查询分析,因此,需要在ORC文件格式支持的数据类型与GaussDB(
将导入数据拆分为多个文件 导入大数据量的数据时,通常需要较长的时间及耗费较多的计算资源。 从OBS上导入数据时,如下方法可以提升导入性能:将数据文件存储到OBS前,尽可能均匀地将文件切分成多个,文件的数量为DN的整数倍更适合。 在导入前后验证数据文件 从OBS导入数据时,首先将您的文件上传到O
core文件 当程序出现内存越界、断言失败或者访问非法内存时,操作系统会中止进程,并将当前内存状态导出到core文件中,以便进一步分析。 core文件包含内存转储,支持全二进制和指定端口格式。core文件名称由字符串core以及操作系统进程ID组成。 core文件不依赖于任何平台。
gs_dumpall通过调用gs_dump来完成集群中各数据库的SQL脚本文件导出,该脚本文件包含将数据库恢复为其保存时的状态所需要的全部SQL语句。 以上两部分导出的结果为纯文本格式的SQL脚本文件,使用gsql运行该脚本文件可以恢复集群数据库。 注意事项 禁止修改导出的文件和内容,否则可能无法恢复成功。 为了保
tput --application-lang -A 字符串 用于迁移的应用程序语言解析器。 SQL:迁移SQL文件中的SQL模式/脚本。 Perl:迁移Perl文件中的BTEQ/SQL_LANG脚本。 SQL Perl SQL --application-lang Perl 或
t (1 row) pg_reload_conf() 描述:服务器进程重新装载配置文件。 返回值类型:boolean 备注:pg_reload_conf给服务器发送一个SIGHUP信号,导致所有服务器进程重新装载配置文件。 示例: 1 2 3 4 5 SELECT pg_reload_conf();
一般情况下出现此种问题,是进程运行过程中加载的共享动态库(在Linux为.so文件)出现变化;或者进程二进制文件本身出现变化,导致操作系统加载机器的执行码或者加载依赖库的入口发生变化,操作系统出于保护目的将进程终止,产生core dump文件。 解决此问题,重试便可。同时请尽可能避免
%s." SQLSTATE: XX000 错误原因:打开表失败,原因可能有文件损坏或丢失。 解决办法:通过函数gs_switch_relfilenode交换两张表的文件时,待交换的表无法正常打开,请检查文件是否损坏或已异常丢失。请联系技术支持工程师提供技术支持。 GAUSS-04626:
为其他任意格式后缀的文件。 根据导入数据原理,当数据源文件的数据量较大时,将数据文件存储到OBS前,尽可能均匀地将文件切分成多个,文件数量为DataNode的整数倍时,导入性能更好。 假设您已将3个CSV数据文件存储在OBS上,其原始数据分别如下: 数据文件“product_info
外表语句中指定OBS文件编码格式是UTF-8,但是导入数据时报错,如何处理? 原因分析 存储在OBS中的源文件含有非UTF-8的数据。 处理方法 排查报错的源文件,检查是否含有非UTF-8的数据,例如中文字符。如果源文件中含有非UTF-8的数据,请先将源文件转换成UTF-8的格式
core文件 当程序出现内存越界、断言失败或者访问非法内存时,操作系统会中止进程,并将当前内存状态导出到core文件中,以便进一步分析。 core文件包含内存转储,支持全二进制和指定端口格式。core文件名称由字符串core以及操作系统进程ID组成。 core文件不依赖于任何平台。
0x00.”。 原因分析 业务数据文件从Oracle导入,文件编码为utf-8。该报错还会提示行数,由于文件特别大,vim命令打不开文件,于是用sed命令把报错行数提出来,再用vim命令打开,发现并没有什么异常。用split命令按行数切割后,部分文件也可以导入。 经分析GaussD
gs_dump和gs_dumpall工具是通过“gsql命令行客户端”软件包解压缩获取。 注意事项 禁止修改导出的文件和内容,否则可能无法恢复成功。 为了保证数据一致性和完整性,导出工具会对需要转储的表设置共享锁。如果表在别的事务中设置了共享锁,gs_dump和gs_dumpall会等待锁释放后锁定表。如果无法在指定
Convertor转换完含有SQL语句的源文件后,在目标GaussDB(DWS)上执行转换后的文件,并生成文件执行成功和失败的明细报告。 Database Schema Convertor完成迁移后,会调用迁移后验证脚本(通过配置项控制)。此验证脚本(配置详情见配置文件)会连接到目标GaussDB数据库并执行。
t (1 row) pg_reload_conf() 描述:服务器进程重新装载配置文件。 返回值类型:boolean 备注:pg_reload_conf给服务器发送一个SIGHUP信号,导致所有服务器进程重新装载配置文件。 示例: 1 2 3 4 5 SELECT pg_reload_conf();
TPC-DS数据生成 登录ECS云服务器,执行如下命令创建TPC-DS存放目录。 mkdir -p /data1/script/tpcds-kit/tpcds1000X mkdir -p /data2/script/tpcds-kit/tpcds1000X 从官网获取TPC-DS