华为云用户手册

  • 注意事项 禁止修改-F c/d/t 格式导出的文件和内容,否则可能无法恢复成功。对于-F p 格式导出的文件,如有需要,可谨慎编辑导出的文件。 为了保证数据一致性和完整性,gs_dump会对需要转储的表设置共享锁。如果表在别的事务中设置了共享锁,gs_dump会等待锁释放后锁定表。如果无法在指定时间内锁定某个表,转储会失败。用户可以通过指定--lock-wait-timeout选项,自定义等待锁超时时间。 不支持加密导出存储过程和函数。 对于物化视图,本工具仅支持物化视图定义的导出,在导入后需手动执行REFRESH命令来进行数据恢复。 对于临时对象,本工具仅支持导出全局临时表。 本工具不支持在备机上使用。 由于DN上系统表中分布信息不完整,所以在DN使用gs_dump时,不会转储表的分布信息。 gs_dump导出分区索引时,部分索引分区的属性无法导出,比如索引分区的unusable状态。可以通过查询系统表PG_PARTITION或者查询视图ADM_IND_PARTITIONS获取索引分区的具体属性,通过ALTER INDEX命令可以手动设置索引分区属性。 对于定时任务,本工具仅支持导出在MYSQL兼容性数据库中,通过CREATE EVENT创建的定时任务或通过高级包创建的非周期性定时任务。 普通用户不支持导出DIRECTORY、SYNONYM,若普通用户进行相关导出,会提示“WARNING: xx not dumped because current user is not a superuser”。
  • 说明 如果某数据库集群有任何本地数据要添加到template1数据库,请谨慎将gs_dump的输出恢复到一个真正的空数据库中,否则可能会因为被添加对象的定义被复制,出现错误。要创建一个无本地添加的空数据库,需从template0而非template1复制,例如: CREATE DATABASE foo WITH TEMPLATE template0; tar归档形式的文件大小不得超过8GB(tar文件格式的固有限制)。tar文档整体大小和任何其他输出格式没有限制,操作系统可能对此有要求。 由gs_dump生成的转储文件不包含优化程序用来做执行计划决定的统计数据。因此,建议从某转储文件恢复之后运行ANALYZE以确保最佳效果。转储文件不包含任何ALTER DATABASE…SET命令,这些设置由gs_dumpall转储,还有数据库用户和其他完成安装设置。
  • 主要功能 gs_dump可以创建四种不同的导出文件格式,通过[-F或者--format=]选项指定,具体如表1所示。 表1 导出文件格式 格式名称 -F的参数值 说明 建议 对应导入工具 纯文本格式 p 纯文本脚本文件包含SQL语句和命令。命令可以由gsql命令行终端程序执行,用于重新创建数据库对象并加载表数据。 小型数据库,一般推荐纯文本格式。 使用gsql工具恢复数据库对象前,可根据需要使用文本编辑器编辑纯文本导出文件。 自定义归档格式 c 一种二进制文件。支持从导出文件中恢复所有或所选数据库对象。 中型或大型数据库,推荐自定义归档格式。 使用gs_restore可以选择要从自定义归档/目录归档/tar归档导出文件中导入相应的数据库对象。 目录归档格式 d 该格式会创建一个目录,该目录包含两类文件,一类是目录文件,另一类是每个表和blob对象对应的数据文件。 - tar归档格式 t tar归档文件支持从导出文件中恢复所有或所选数据库对象。tar归档格式不支持压缩且对于单独表大小应小于8GB。 - 可以使用gs_dump工具将文件压缩为目录归档或自定义归档导出文件,减少导出文件的大小。生成目录归档或自定义归档导出文件时,默认进行中等级别的压缩。gs_dump程序无法压缩已归档导出文件。
  • 背景信息 gs_dump是 GaussDB 用于导出数据库相关信息的工具,用户可以自定义导出一个数据库或其中的对象(模式、表、视图等)。支持导出的数据库可以是默认数据库postgres,也可以是自定义数据库。 gs_dump工具在进行数据导出时,其他用户可以访问集群数据库(读或写)。 gs_dump工具支持导出完整一致的数据。例如,T1时刻启动gs_dump导出A数据库,那么导出数据结果将会是T1时刻A数据库的数据状态,T1时刻之后对A数据库的修改不会被导出。 gs_dump支持将数据库信息导出至纯文本格式的SQL脚本文件或其他归档文件中。 纯文本格式的SQL脚本文件:包含将数据库恢复为其保存时的状态所需的SQL语句。通过gsql运行该SQL脚本文件,可以恢复数据库。即使在其他主机和其他数据库产品上,只要对SQL脚本文件稍作修改,也可以用来重建数据库。 归档格式文件:包含将数据库恢复为其保存时的状态所需的数据,可以是tar格式、目录归档格式或自定义归档格式,详见表1。该导出结果必须与gs_restore配合使用来恢复数据库,gs_restore工具在导入时,系统允许用户选择需要导入的内容,甚至可以在导入之前对等待导入的内容进行排序。 gs_dump支持SSL加密通信,使用方式同gsql方式。 使用gs_dump前请确保gs_dump版本与数据库版本保持一致,高版本gs_dump不保证完全兼容低版本内核数据。
  • 背景信息 gs_dumpall是GaussDB用于导出所有数据库相关信息工具,它可以导出集群数据库的所有数据,包括默认数据库postgres的数据、自定义数据库的数据、以及集群所有数据库公共的全局对象。 gs_dumpall工具在进行数据导出时,其他用户可以访问集群数据库(读或写)。 gs_dumpall工具支持导出完整一致的数据。例如,T1时刻启动gs_dumpall导出整个集群数据库,那么导出数据结果将会是T1时刻该集群数据库的数据状态,T1时刻之后对集群数据库的修改不会被导出。 gs_dumpall在导出整个集群所有数据库时分为两部分: gs_dumpall自身对所有数据库公共的全局对象进行导出,包括有关数据库用户和组,表空间以及属性(例如,适用于数据库整体的访问权限)信息。 gs_dumpall通过调用gs_dump来完成集群中各数据库的SQL脚本文件导出,该脚本文件包含将数据库恢复为其保存时的状态所需要的全部SQL语句。 以上两部分导出的结果为纯文本格式的SQL脚本文件,使用gsql运行该脚本文件可以恢复集群数据库。 gs_dumpall支持SSL加密通信,使用方式同gsql方式。 使用gs_dumpall前请确保gs_dumpall版本与gs_dump版本、数据库版本保持一致,高版本gs_dumpall不保证完全兼容低版本内核数据。
  • 注意事项 禁止修改导出的文件和内容,否则可能无法恢复成功。 为了保证数据一致性和完整性,gs_dumpall会对需要转储的表设置共享锁。如果某张表在别的事务中设置了共享锁,gs_dumpall会等待此表的锁释放后锁定此表。如果无法在指定时间内锁定某张表,转储会失败。用户可以通过指定--lock-wait-timeout选项,自定义等待锁超时时间。 由于gs_dumpall读取所有数据库中的表,因此必须以数据库集群管理员身份进行连接,才能导出完整文件。在使用gsql执行脚本文件导入时,同样需要管理员权限,以便添加用户和组,以及创建数据库。导入备份前,验证其安全性,防止管理员权限被利用。 使用gs_dumpall导出所有数据库对象,并希望在新的实例环境上进行导入时,需要保证导出和导入时使用用户的名称和权限相同,否则会出现名称不一致或权限不足的报错。 对于定时任务,本工具仅支持导出在MYSQL兼容性数据库中,通过CREATE EVENT创建的定时任务或通过高级包创建的非周期性定时任务。
  • 背景信息 gs_restore是GaussDB提供的针对gs_dump导出数据的导入工具。通过此工具可将gs_dump导出生成的文件进行导入。 主要功能包含: 导入到数据库 如果连接参数中指定了数据库,则数据将被导入到指定的数据库中。其中,并行导入必须指定连接的密码。 导入到归档文件 如果参数指定"-l",则生成归档文件,其中包含简略的数据总结。 gs_restore支持SSL加密通信,使用方式同gsql方式。 使用gs_restore前请确保gs_restore版本与gs_dump版本、数据库版本保持一致。
  • 示例 特例:执行gsql程序,使用如下选项导入由gs_dump/gs_dumpall生成导出文件夹(纯文本格式)的MPPDB_backup.sql文件到testdb数据库。 gsql -d testdb -p 8000 -f /home/omm/test/MPPDB_backup.sql SET SET SET SET SET ALTER TABLE ALTER TABLE ALTER TABLE ALTER TABLE ALTER TABLE CREATE INDEX CREATE INDEX CREATE INDEX SET CREATE INDEX REVOKE REVOKE GRANT GRANT total time: 30476 ms 示例中“-f”后的是导出的文件,“8000”表示数据库服务器端口;“testdb”表示要访问的数据库名。 gs_restore用来导入由gs_dump生成的导出文件。 示例1:执行gs_restore,将导出的MPPDB_backup.dmp文件(自定义归档格式)导入到testdb数据库。 gs_restore backup/MPPDB_backup.dmp -p 8000 -d testdb restore operation successful total time: 13053 ms 示例2:执行gs_restore,将导出的MPPDB_backup.tar文件(tar格式)导入到testdb数据库。 gs_restore backup/MPPDB_backup.tar -p 8000 -d testdb restore operation successful total time: 21203 ms 示例3:执行gs_restore,将导出的MPPDB_backup文件(目录格式)导入到testdb数据库。 gs_restore backup/MPPDB_backup -p 8000 -d testdb restore operation successful total time: 21003 ms 示例4:执行gs_restore,使用自定义归档格式的MPPDB_backup.dmp文件来进行如下导入操作。 导入PUBLIC模式下所有对象的定义和数据。在导入时会先删除已经存在的对象,如果原对象存在跨模式的依赖则需手工强制干预。 gs_restore backup/MPPDB_backup.dmp -p 8000 -d testdb -e -c -n PUBLIC Error while PRO CES SING TOC: Error from TOC entry 313; 1259 337399 TABLE table1 gaussdba could not execute query: ERROR: cannot drop table table1 because other objects depend on it DETAIL: view t1.v1 depends on table table1 HINT: Use DROP ... CASCADE to drop the dependent objects too. Command was: DROP TABLE IF EXISTS public.table1; 手工删除依赖,导入完成后再重新创建。 gs_restore backup/MPPDB_backup.dmp -p 8000 -d testdb -e -c -n PUBLIC restore operation successful total time: 2203 ms 示例5:执行gs_restore,使用自定义归档格式的MPPDB_backup.dmp文件来进行如下导入操作。只导入PUBLIC模式下表table1的定义。 gs_restore backup/MPPDB_backup.dmp -p 8000 -d testdb -e -c -s -n PUBLIC -t table1 restore operation successful total time: 21000 ms 示例6:执行gs_restore,使用自定义归档格式的MPPDB_backup.dmp文件来进行如下导入操作。只导入PUBLIC模式下表table1的数据。 gs_restore backup/MPPDB_backup.dmp -p 8000 -d testdb -e -a -n PUBLIC -t table1 restore operation successful total time: 20203 ms
  • 命令格式 gs_restore [OPTION]... FILE FILE没有短选项或长选项。用来指定归档文件所处的位置。 作为前提条件,需输入dbname或-l选项。不允许用户同时输入dbname和-l选项。 gs_restore默认是以追加的方式进行数据导入。为避免多次导入造成数据异常,在进行导入时,建议选择使用“-c”和“-e”参数。“-c”表示在重新创建数据库对象前,清理(删除)已存在于将要还原的数据库中的数据库对象;“-e”表示当发送SQL语句到数据库时如果出现错误请退出,默认状态下会继续,且在导入后会显示一系列错误信息。 在进行导入时,如果schema对象的owner拥有OPRADMIN的系统权限,那么在导入时需要使用初始用户。
  • 示例 特例:执行gsql程序,使用如下选项导入由gs_dump/gs_dumpall生成导出文件夹(纯文本格式)的MPPDB_backup.sql文件到testdb数据库。 gsql -d testdb -p 8000 -f /home/omm/test/MPPDB_backup.sql SET SET SET SET SET ALTER TABLE ALTER TABLE ALTER TABLE ALTER TABLE ALTER TABLE CREATE INDEX CREATE INDEX CREATE INDEX SET CREATE INDEX REVOKE REVOKE GRANT GRANT total time: 30476 ms 示例中“-f”后的是导出的文件,“8000”表示数据库服务器端口;“testdb”表示要访问的数据库名。 gs_restore用来导入由gs_dump生成的导出文件。 示例1:执行gs_restore,将导出的MPPDB_backup.dmp文件(自定义归档格式)导入到testdb数据库。 gs_restore backup/MPPDB_backup.dmp -p 8000 -d testdb restore operation successful total time: 13053 ms 示例2:执行gs_restore,将导出的MPPDB_backup.tar文件(tar格式)导入到testdb数据库。 gs_restore backup/MPPDB_backup.tar -p 8000 -d testdb restore operation successful total time: 21203 ms 示例3:执行gs_restore,将导出的MPPDB_backup文件(目录格式)导入到testdb数据库。 gs_restore backup/MPPDB_backup -p 8000 -d testdb restore operation successful total time: 21003 ms 示例4:执行gs_restore,使用自定义归档格式的MPPDB_backup.dmp文件来进行如下导入操作。 导入PUBLIC模式下所有对象的定义和数据。在导入时会先删除已经存在的对象,如果原对象存在跨模式的依赖则需手工强制干预。 gs_restore backup/MPPDB_backup.dmp -p 8000 -d testdb -e -c -n PUBLIC Error while PROCESSING TOC: Error from TOC entry 313; 1259 337399 TABLE table1 gaussdba could not execute query: ERROR: cannot drop table table1 because other objects depend on it DETAIL: view t1.v1 depends on table table1 HINT: Use DROP ... CASCADE to drop the dependent objects too. Command was: DROP TABLE IF EXISTS public.table1; 手工删除依赖,导入完成后再重新创建。 gs_restore backup/MPPDB_backup.dmp -p 8000 -d testdb -e -c -n PUBLIC restore operation successful total time: 2203 ms 示例5:执行gs_restore,使用自定义归档格式的MPPDB_backup.dmp文件来进行如下导入操作。只导入PUBLIC模式下表table1的定义。 gs_restore backup/MPPDB_backup.dmp -p 8000 -d testdb -e -c -s -n PUBLIC -t table1 restore operation successful total time: 21000 ms 示例6:执行gs_restore,使用自定义归档格式的MPPDB_backup.dmp文件来进行如下导入操作。只导入PUBLIC模式下表table1的数据。 gs_restore backup/MPPDB_backup.dmp -p 8000 -d testdb -e -a -n PUBLIC -t table1 restore operation successful total time: 20203 ms
  • 命令格式 gs_restore [OPTION]... FILE FILE没有短选项或长选项。用来指定归档文件所处的位置。 作为前提条件,需输入dbname或-l选项。不允许用户同时输入dbname和-l选项。 gs_restore默认是以追加的方式进行数据导入。为避免多次导入造成数据异常,在进行导入时,建议选择使用“-c”和“-e”参数。“-c”表示在重新创建数据库对象前,清理(删除)已存在于将要还原的数据库中的数据库对象;“-e”表示当发送SQL语句到数据库时如果出现错误请退出,默认状态下会继续,且在导入后会显示一系列错误信息。 在进行导入时,如果schema对象的owner拥有OPRADMIN的系统权限,那么在导入时需要使用初始用户。
  • 背景信息 gs_restore是GaussDB提供的针对gs_dump导出数据的导入工具。通过此工具可将gs_dump导出生成的文件进行导入。 主要功能包含: 导入到数据库 如果连接参数中指定了数据库,则数据将被导入到指定的数据库中。其中,并行导入必须指定连接的密码。导入时生成列会自动更新,并像普通列一样保存。 导入到归档文件 如果参数指定"-l",则生成归档文件,其中包含简略的数据总结。 gs_restore支持SSL加密通信,使用方式同gsql方式。 使用gs_restore前请确保gs_restore版本与gs_dump版本、数据库版本保持一致。
  • 注意事项 禁止修改导出的文件和内容,否则可能无法恢复成功。 为了保证数据一致性和完整性,gs_dumpall会对需要转储的表设置共享锁。如果某张表在别的事务中设置了共享锁,gs_dumpall会等待此表的锁释放后锁定此表。如果无法在指定时间内锁定某张表,转储会失败。用户可以通过指定--lock-wait-timeout选项,自定义等待锁超时时间。 由于gs_dumpall读取所有数据库中的表,因此必须以数据库管理员身份进行连接,才能导出完整文件。在使用gsql执行脚本文件导入时,同样需要管理员权限,以便添加用户和组,以及创建数据库。导入备份前,验证其安全性,防止管理员权限被利用。 使用gs_dumpall导出所有数据库对象,并希望在新的实例环境上进行导入时,需要保证导出和导入时使用用户的名称和权限相同,否则会出现名称不一致或权限不足的报错。 gs_dumpall导出的文件,在新的实例环境上进行导入时,连接的数据库必须是默认database。否则可能出现语法不兼容的情况,导致导入出错。 由于M-compatibility数据库全局只能创建一个,当导出的数据库中包含M-compatibility数据库时,须保证导入的目标实例环境上没有其他M-compatibility数据库存在。 对于定时任务,本工具仅支持导出在B兼容性数据库中,通过CREATE EVENT创建的定时任务或通过高级包创建的非周期性定时任务。
  • 背景信息 gs_dumpall是GaussDB用于导出所有数据库相关信息工具,它可以导出数据库的所有数据,包括默认数据库postgres的数据、自定义数据库的数据、以及所有数据库公共的全局对象。 gs_dumpall工具在进行数据导出时,其他用户可以访问数据库(读或写)。 gs_dumpall工具支持导出完整一致的数据。例如,T1时刻启动gs_dumpall导出整个数据库,那么导出数据结果将会是T1时刻该数据库的数据状态,T1时刻之后对数据库的修改不会被导出。 gs_dumpall时生成列不会被转储。 gs_dumpall在导出所有数据库时分为两部分: gs_dumpall自身对所有数据库公共的全局对象进行导出,包括有关数据库用户和组,表空间以及属性(例如,适用于数据库整体的访问权限)信息。 gs_dumpall通过调用gs_dump来完成数据库中各数据库的SQL脚本文件导出,该脚本文件包含将数据库恢复为其保存时的状态所需要的全部SQL语句。 以上两部分导出的结果为纯文本格式的SQL脚本文件,使用gsql运行该脚本文件可以恢复数据库。 gs_dumpall支持SSL加密通信,使用方式同gsql方式。 使用gs_dumpall前请确保gs_dumpall版本与gs_dump版本、数据库版本保持一致,高版本gs_dump、gs_dump不保证完全兼容低版本内核数据。
  • 注意事项 禁止修改-F c/d/t 格式导出的文件和内容,否则可能无法恢复成功。对于-F p 格式导出的文件,如有需要,可谨慎编辑导出的文件。 为了保证数据一致性和完整性,gs_dump会对需要转储的表设置共享锁。如果表在别的事务中设置了共享锁,gs_dump会等待锁释放后锁定表。如果无法在指定时间内锁定某个表,转储会失败。用户可以通过指定--lock-wait-timeout选项,自定义等待锁超时时间。 不支持加密导出存储过程和函数。 对于物化视图,本工具仅支持物化视图定义的导出,在导入后需手动执行REFRESH命令来进行数据恢复。 对于临时对象,本工具仅支持导出全局临时表。 本工具不支持在备机上使用。 gs_dump导出分区索引时,部分索引分区的属性无法导出,比如索引分区的unusable状态。可以通过查询系统表PG_PARTITION或者查询视图ADM_IND_PARTITIONS/ADM_IND_SUBPARTITIONS获取索引分区的具体属性,通过ALTER INDEX命令可以手动设置索引分区属性。 对于定时任务,本工具仅支持导出在B兼容性数据库中,通过CREATE EVENT创建的定时任务或通过高级包创建的非周期性定时任务。 普通用户不支持导出SUBSCRIPTION、DIRECTORY、SYNONYM,若普通用户进行相关导出,会提示“WARNING: xx not dumped because current user is not a superuser”。
  • 说明 如果某数据库有任何本地数据要添加到template1数据库,请谨慎将gs_dump的输出恢复到一个真正的空数据库中,否则可能会因为被添加对象的定义被复制,出现错误。要创建一个无本地添加的空数据库,需从template0而非template1复制,例如: CREATE DATABASE foo WITH TEMPLATE template0; tar归档形式的文件大小不得超过8GB(tar文件格式的固有限制)。tar文档整体大小和任何其他输出格式没有限制,操作系统可能对此有要求。 由gs_dump生成的转储文件不包含优化程序用来做执行计划决定的统计数据。因此,建议从某转储文件恢复之后运行ANALYZE以确保最佳效果。转储文件不包含任何ALTER DATABASE…SET命令,这些设置由gs_dumpall转储,还有数据库用户和其他完成安装设置。
  • 语法 gs_dump [OPTION]... [DBNAME] “dbname”前面不需要加短或长选项。“dbname”指定要连接的数据库。 例如: 不需要-d,直接指定“dbname”。 gs_dump -p port_number testdb -f dump1.sql 或者 export PGDATABASE=testdb gs_dump -p port_number -f dump1.sql 环境变量:PGDATABASE
  • 示例 使用gs_dump转储数据库为SQL文本文件或其它格式的操作,如下所示。 示例中“backup/MPPDB_backup.sql”表示导出的文件,其中backup表示相对于当前目录的相对目录;“37300”表示数据库服务器端口;“testdb”表示要访问的数据库名。 导出操作时,请确保该目录存在并且当前的操作系统用户对其具有读写权限。 示例1:执行gs_dump,导出testdb数据库全量信息,导出的MPPDB_backup.sql文件格式为纯文本格式。 gs_dump -U omm -f backup/MPPDB_backup.sql -p 37300 testdb -F p gs_dump[user='omm'][localhost][port='37300'][testdb][2018-06-27 09:49:17]: The total objects number is 356. gs_dump[user='omm'][localhost][port='37300'][testdb][2018-06-27 09:49:17]: [100.00%] 356 objects have been dumped. gs_dump[user='omm'][localhost][port='37300'][testdb][2018-06-27 09:49:17]: dump database testdb successfully gs_dump[user='omm'][localhost][port='37300'][testdb][2018-06-27 09:49:17]: total time: 1274 ms 使用gsql程序从纯文本导出文件中导入数据。 示例2:执行gs_dump,导出testdb数据库全量信息,导出的MPPDB_backup.tar文件格式为tar格式。 gs_dump -U omm -f backup/MPPDB_backup.tar -p 37300 testdb -F t gs_dump[user='omm'][localhost][port='37300'][testdb][2018-06-27 10:02:24]: The total objects number is 1369. gs_dump[user='omm'][localhost][port='37300'][testdb][2018-06-27 10:02:53]: [100.00%] 1369 objects have been dumped. gs_dump[user='omm'][localhost][port='37300'][testdb][2018-06-27 10:02:53]: dump database testdb successfully gs_dump[user='omm'][localhost][port='37300'][testdb][2018-06-27 10:02:53]: total time: 50086 ms 示例3:执行gs_dump,导出testdb数据库全量信息,导出的MPPDB_backup.dmp文件格式为自定义归档格式。 gs_dump -U omm -f backup/MPPDB_backup.dmp -p 37300 testdb -F c gs_dump[user='omm'][localhost][port='37300'][testdb][2018-06-27 10:05:40]: The total objects number is 1369. gs_dump[user='omm'][localhost][port='37300'][testdb][2018-06-27 10:06:03]: [100.00%] 1369 objects have been dumped. gs_dump[user='omm'][localhost][port='37300'][testdb][2018-06-27 10:06:03]: dump database testdb successfully gs_dump[user='omm'][localhost][port='37300'][testdb][2018-06-27 10:06:03]: total time: 36620 ms 示例4:执行gs_dump,导出testdb数据库全量信息,导出的MPPDB_backup文件格式为目录格式。 gs_dump -U omm -f backup/MPPDB_backup -p 37300 testdb -F d gs_dump[user='omm'][localhost][port='37300'][testdb][2018-06-27 10:16:04]: The total objects number is 1369. gs_dump[user='omm'][localhost][port='37300'][testdb][2018-06-27 10:16:23]: [100.00%] 1369 objects have been dumped. gs_dump[user='omm'][localhost][port='37300'][testdb][2018-06-27 10:16:23]: dump database testdb successfully gs_dump[user='omm'][localhost][port='37300'][testdb][2018-06-27 10:16:23]: total time: 33977 ms
  • 主要功能 gs_dump可以创建四种不同的导出文件格式,通过[-F或者--format=]选项指定,具体如表1所示。 表1 导出文件格式 格式名称 -F的参数值 说明 建议 对应导入工具 纯文本格式 p 纯文本脚本文件包含SQL语句和命令。命令可以由gsql命令行终端程序执行,用于重新创建数据库对象并加载表数据。 小型数据库,一般推荐纯文本格式。 使用gsql工具恢复数据库对象前,可根据需要使用文本编辑器编辑纯文本导出文件。 自定义归档格式 c 一种二进制文件。支持从导出文件中恢复所有或所选数据库对象。 中型或大型数据库,推荐自定义归档格式。 使用gs_restore可以选择要从自定义归档/目录归档/tar归档导出文件中导入相应的数据库对象。 目录归档格式 d 该格式会创建一个目录,该目录包含两类文件,一类是目录文件,另一类是每个表和blob对象对应的数据文件。 - tar归档格式 t tar归档文件支持从导出文件中恢复所有或所选数据库对象。tar归档格式不支持压缩且对于单独表大小应小于8GB。 - 可以使用gs_dump工具将文件压缩为目录归档或自定义归档导出文件,减少导出文件的大小。生成目录归档或自定义归档导出文件时,默认进行中等级别的压缩。gs_dump程序无法压缩已归档导出文件。
  • 背景信息 gs_dump是GaussDB用于导出数据库相关信息的工具,用户可以自定义导出一个数据库或其中的对象(模式、表、视图等)。支持导出的数据库可以是默认数据库postgres,也可以是自定义数据库。 gs_dump工具在进行数据导出时,其他用户可以访问数据库(读或写)。 gs_dump工具支持导出完整一致的数据。例如,T1时刻启动gs_dump导出A数据库,那么导出数据结果将会是T1时刻A数据库的数据状态,T1时刻之后对A数据库的修改不会被导出。 gs_dump时生成列不会被转储。 gs_dump支持导出兼容v1数据库的文本格式文件。 gs_dump支持将数据库信息导出至纯文本格式的SQL脚本文件或其他归档文件中。 纯文本格式的SQL脚本文件:包含将数据库恢复为其保存时的状态所需的SQL语句。通过gsql运行该SQL脚本文件,可以恢复数据库。即使在其他主机和其他数据库产品上,只要对SQL脚本文件稍作修改,也可以用来重建数据库。 归档格式文件:包含将数据库恢复为其保存时的状态所需的数据,可以是tar格式、目录归档格式或自定义归档格式,详见表1。 gs_dump支持SSL加密通信,使用方式同gsql方式。 使用gs_dump前请确保gs_dump版本与数据库版本保持一致,高版本gs_dump不保证完全兼容低版本内核数据。
  • 列存表支持的数据类型 列存表支持的数据类型如表1所示。其他未列举的数据类型,暂不支持。 表1 列存表支持的数据类型 类别 数据类型 描述 长度 数值类型 smallint 小范围整数,别名为INT2。 2 integer 常用的整数,别名为INT4。 4 bigint 大范围的整数,别名为INT8。 8 decimal 任意精度型。 可变长度 numeric 任意精度型。 可变长度 real 单精度浮点数。 4 double precision 双精度浮点数。 8 smallserial 二字节序列整型。 2 serial 四字节序列整型。 4 bigserial 八字节序列整型。 8 货币类型 money 货币金额。 8 字符类型 character varying(n), varchar(n) 变长字符串。 可变长度 character(n), char(n) 定长字符串。 n character、char 单字节内部类型。 1 text 变长字符串。 可变长度 nvarchar2 变长字符串。 可变长度 clob 文本大对象。 可变长度 日期/时间类型 timestamp with time zone 日期和时间,带时区。 8 timestamp without time zone 日期和时间。 8 date Oracle兼容模式下记录日期和时间;其他兼容模式下,记录日期。 Oracle兼容模式下,占存储空间8字节;其他兼容模式下,占存储空间4字节。 time without time zone 只用于一日内时间。 8 time with time zone 只用于一日内时间,带时区。 12 interval 时间间隔。 16 父主题: 数据类型
  • 修订记录 发布日期 修改记录 2024-03-28 第十一次正式发布。 更新策略管理概述、新增/编辑应急策略章节内容,更新约束限制并增加应急策略推荐配置说明。 更新采集数据章节内容,增加E CS VPC终端节点 资源相关说明。 更新安全编排概述、查看实例监控章节内容,更新剧本、流程实例约束限制说明。 更新查看基线检查结果章节内容,增加查看检查结果操作步骤。 更新查看资产信息、查看漏洞详情、查看事件信息、查看告警信息、查看情报指标章节内容,更新查看数据描述信息。 新增一键阻断/解封章节内容。 2024-02-29 第十次正式发布。 更新编辑工作空间章节内容,增加 安全云脑 对接标签服务资料描述。 更新创建托管章节内容,增加安全云脑对接Organizations资料描述信息。 更新编辑/删除资产章节内容,增加批量编辑资产操作步骤。 更新查看告警信息章节内容,告警详情页面优化,资料更新描述信息。 更新查看基线检查结果章节内容,新增检查结果页面描述。 更新处理基线检查结果章节内容,新增导入、导出检查结果操作指导。 更新支持接入的日志章节内容,新增支持接入安全云脑基线检查数据至安全分析管道中。 更新工作空间概述、安全分析概述章节内容,补充工作空间、安全分析的约束与限制。 更新内置剧本和流程章节内容,新增内置剧本、流程和资产连接。 更新查看资产信息、查看漏洞详情、查看事件信息、查看告警信息、新增/编辑情报指标章节内容,更新页面布局截图。 新增舆情监测功能资料说明。 2023-12-11 第九次正式发布。 更新购买安全云脑章节内容,安全云脑支持对接TMS服务,增加了相关描述内容。 更新创建/复制安全报告、查看安全报告章节内容,新增周报说明信息。 更新总览、态势总览、综合 态势感知 大屏、值班响应大屏、资产大屏、威胁态势大屏、脆弱性大屏章节内容,补充指标统计周期。 更新查看已处理任务章节内容,更新目录名称。 更新服务委托授权章节内容,补充安全云脑委托权限的说明。 更新内置剧本和流程章节内容,新增内置剧本、流程和资产连接。 新增采集数据章节内容。 删除“购买ECS”、“安装Agent”、“新增节点”、“配置组件”、“新增连接”、“配置解析器”、“新增采集通道”章节内容,优化合入采集数据章节。 删除“批量取消阻断”章节,合入批量阻断/批量取消阻断章节。 优化资料描述。 2023-10-30 第八次正式发布。 更新创建/复制安全报告章节内容,支持配置发送报告相关信息。 更新查看安全报告章节内容,新增月报展示内容说明信息。 新增内置剧本和流程章节内容,补充内置剧本、流程和资产连接信息。 新增支持接入的日志章节内容,补充可接入云服务日志信息。 新增配置防线策略章节内容。 删除“提交流程版本”章节内容,并更新管理流程版本章节内容,合入提交流程版本内容。 更新购买标准版、购买专业版章节内容,更新主机配额描述信息。 调整文档结构并优化资料描述。 2023-09-25 第七次正式发布。 更新资产管理概述章节内容,新增资产来源以及对应的安全防护产品描述信息。 更新日志字段含义章节内容,更新WAF攻击日志字段说明。 更新工作空间概述章节内容,更新工作空间约束限制内容。 新增投递日志数据至LTS章节内容。 优化资料描述。 2023-08-10 第六次正式发布。 更新下载安全报告章节内容,支持下载多种格式报告。 更新查看待办任务章节内容,新增了备注信息。 新增查看已处理任务章节,支持查看已处理任务信息。 新增设置资产订阅章节内容,支持订阅其他region信息。 新增策略管理章节,支持统一管理防线策略和应急策略。 更新查看事件信息章节内容,可以查看受影响咨询信息。 更新关闭/删除事件章节内容,支持批量关闭和删除事件。 更新查看告警信息信息章节内容,可以查看受影响咨询信息。 更新告警转事件或关联事件章节内容,新增告警关联事件操作。 更新关闭/删除告警章节内容,支持批量关闭和删除告警。 新增告警处置建议章节内容,针对TOP告警新增处理建议。 更新日志字段含义章节内容,新增MTD告警字段说明。 更新安全编排使用流程章节内容,系统内置剧本默认已激活,无需手动操作。 新增查看自定义类型章节内容。 更新新增资产连接、管理资产连接章节内容,更新描述信息。 更新数据采集概述章节内容,增加了支持的安装系统。 更新“购买ECS”章节内容,增加了支持的安装系统。 更新管理解析器章节内容,支持自定义导入、导出解析器。 删除“修改资产信息同步策略”章节,系统自动同步资产信息,无需再通过剧本进行同步。 2023-06-30 第五次正式发布。 新增(可选)配置并启用流程、(可选)配置并启用剧本章节内容。 更新安全编排概述、安全编排使用流程章节内容,优化描述信息。 删除“新增剧本”、“新增流程”、“新增布局”、“新增数据类”、“新增数据字段”章节内容。 2023-05-25 第四次正式发布。 新增数据投递、服务委托授权章节内容。 删除“资产管理访问授权”、“基线检查访问授权”章节内容,委托权限功能单独统一管理。 更新综合态势感知大屏、值班响应大屏、资产大屏、威胁态势大屏、脆弱性大屏章节数据详细说明。 优化文档描述。 2023-04-25 第三次正式发布。 新增空间托管章节内容。 新增查看已购资源章节内容,支持统一管理已购资源。 新增脆弱性大屏、资产大屏、威胁态势大屏章节内容。 新增下载安全报告章节内容。 新增导入/导出资产、“配置资产管理策略”章节内容,支持导入资产和管理资产同步策略。 新增修复漏洞、导入/导出漏洞、忽略/取消忽略漏洞章节内容。 新增插件管理章节内容。 新增数据采集章节内容,支持采集数据到安全云脑进行统一管理。 新增导入/导出事件、导入/导出告警、导入/导出情报指标章节内容。 更新购买安全云脑章节内容,新增智能分析增值包内容、版本升级内容。 更新新增工作空间章节内容,更新参数描述信息。 更新创建/复制安全报告章节内容,新增支持创建周报、月报描述。 更新查看安全报告章节内容,新增安全报告模板内容描述信息。 更新查看资产信息章节内容,更新各类资产分类展示描述信息。 更新数据集成章节内容,新增新接入数据源产品描述信息。 2023-02-20 第二次正式发布。 刷新总览、态势总览章节内容,新增“合规检查”数据展示模块。 刷新购买增值包章节内容,新增安排编排支持包周期购买说明。 新增删除工作空间章节内容。 新增值班响应大屏章节内容。 刷新漏洞管理章节内容,新增“增漏洞统计”相关说明。 刷新事件管理、告警管理、情报管理章节内容,新增事件/告警/情报统计情况描述。 刷新“新增流程”章节内容,新增人工审核步骤,可以自定义审核人员。 新增目录定制章节内容。 2022-12-10 第一次正式发布。
  • SecMasterBiz插件说明 SecMasterBiz插件是自动更改告警名称流程中的一个插件,用于分析处理webshell类型告警的名称数据,可以按照用户自定义维度拼接告警名称,返回更新后的告警名称。 SecMasterBiz插件包含多个Action,其中,“changeWebshellAlertName” Action提供了几个入参供用户自定义选取,每个入参代表一个分析维度。 用户根据需要选择不同的维度参数对进行告警名称进行拼接,没有选中的参数,默认不返回该维度数据。填入y表示yes,即选择该参数;填入n表示no,或者保持为空,都表示不选择该参数。 表1 参数配置说明 参数名称 参数含义 取值范围 severity 告警严重程度 y/n createTime 告警创建时间 y/n srcIp 告警攻击源IP y/n sourceCountryCity 告警攻击源国家和城市 y/n destinationIp 告警攻击目标IP y/n destinationCountryCity 告警攻击目标国家和城市 y/n
  • 安全云脑的数据来源是什么? 安全云脑基于云上威胁数据和华为云服务采集的威胁数据,通过大数据挖掘和机器学习,分析并呈现威胁态势,并提供防护建议。 一方面采集全网流量数据,以及安全防护设备日志等信息,通过大数据智能AI分析采集的信息,呈现资产的安全状况,并生成相应的威胁告警。 另一方面汇聚主机安全服务(Host Security Service,HSS)、DDoS高防(Advanced Anti-DDoS,AAD)、 Web应用防火墙 (Web Application Firewall,WAF)等安全防护服务上报的告警数据,从中获取必要的安全事件记录,进行大数据挖掘和机器学习,智能AI分析并识别出攻击和入侵,帮助用户了解攻击和入侵过程,并提供相关的防护措施建议。 安全云脑通过对多方面的安全数据的分析,为安全事件的处置决策提供依据,实时呈现完整的全网攻击态势。 接入数据详细操作请参见接入数据。 父主题: 产品咨询
  • 安全云脑与其他安全服务之间的关系与区别? SecMaster与其他安全防护服务(WAF、HSS、Anti-DDoS、DBSS、AAD)的关系与区别如下: 关联: SecMaster:作为安全管理服务,依赖于其他安全服务提供 威胁检测 数据,进行安全威胁风险分析,呈现全局安全威胁态势,并提供防护建议。 其他安全服务:威胁检测数据可以统一汇聚在SecMaster中,呈现全局安全威胁攻击态势。 区别: SecMaster:仅为可视化威胁检测和分析的平台,不实施具体安全防护动作,需与其他安全服务搭配使用。 其他安全服务:仅展示对应服务的检测分析数据,并实施具体安全防护动作,不会呈现全局的威胁攻击态势。 SecMaster与其他安全防护服务区别,详细内容如表1。 表1 SecMaster与其他服务的区别 服务名称 服务类别 关联与区别 防护对象 功能差异 安全云脑(SecMaster) 安全管理 SecMaster着重呈现全局安全威胁攻击态势,统筹分析多服务威胁数据和云上安全威胁,并提供防护建议。 呈现全局安全威胁攻击态势。 SecMaster功能介绍 Anti-DDoS流量清洗(Anti-DDoS) 网络安全 Anti-DDoS集中于异常DDoS攻击流量的检测和防御,相关攻击日志、防护等数据同步给SecMaster。 保障企业业务稳定性。 Anti-DDoS功能特性 DDoS高防(AAD) 网络安全 AAD将公网流量引流至高防IP,聚焦于大流量的DDoS攻击的检测和防御,相关攻击日志、防护等数据同步给SecMaster。 保障企业重要业务连续性。 AAD产品介绍 主机安全服务(HSS) 主机安全 HSS着手于保障主机整体安全性,检测主机安全风险,执行防护策略,相关告警、防护等数据同步给SecMaster。 保障主机整体安全性。 HSS功能特性 Web应用防火墙(WAF) 应用安全 WAF服务对网站业务流量进行多维度检测和防护,防御常见攻击,阻断攻击进一步威胁。相关入侵日志、告警数据等同步给SecMaster,呈现全网Web风险态势。 保障Web应用程序的可用性、安全性。 WAF功能特性 数据库安全服务(DBSS) 数据安全 DBSS着力于数据库访问行为的防护和审计,相关审计日志、告警数据等同步给SecMaster。 保障云上数据库安全和资产安全。 DBSS产品介绍 父主题: 产品咨询
  • 安全云脑中的日志存储时间是多久? 安全云脑支持接入WAF、HSS、OBS等云产品的日志数据,接入后可以对数据进行查询分析、智能建模等。 对于已接入安全云脑的日志数据的具体存储时长如下所示: 表1 支持接入的日志 云服务 日志描述 日志 日志生命周期范围 Web应用防火墙(Web Application Firewall,WAF) 攻击日志 waf-attack 7~10 天 访问日志 waf-access 安全云脑(SecMaster) 合规基线日志 secmaster-baseline 7~10 天 对象存储服务 (Object Storage Service,OBS) 访问日志 obs-access 7~10 天 入侵防御系统(Intrusion Prevention System,IPS) 攻击日志 nip-attack 7~10 天 统一身份认证 (Identity and Access Management, IAM ) 审计日志 iam-audit 7~10 天 主机安全服务(Host Security Service,HSS) 主机安全告警 hss-alarm 7~10 天 主机 漏洞扫描 结果 hss-vul 主机安全日志 hss-log Anti-DDoS流量清洗(Anti-DDoS) 攻击日志 ddos-attack 7~10 天 数据库安全服务(Database Security Service,DBSS) 告警日志 dbss-alarm 7~10 天 云审计 服务(Cloud Trace Service, CTS ) 云审计服务日志 cts-audit 7~10 天 云防火墙 (Cloud Firewall,CFW) 访问控制日志 cfw-block 7~10 天 流量日志 cfw-flow 攻击事件日志 cfw-risk API网关(API Gateway) 访问日志 apig-access 7~30 天 父主题: 产品咨询
  • 安全云脑与态势感知服务的关系与区别? 华为云提供有安全云脑(SecMaster)和态势感知(Situation Awareness,SA)服务,两者之间的关系与区别如下: 图1 SA与SecMaster的关系与区别 简而言之,安全云脑(SecMaster)包含了态势感知(SA)、安全智能分析(ISAP)和安全编排与响应(SOC)的功能。 安全云脑(SecMaster)是华为云原生的新一代安全运营中心。 集华为云多年安全经验,基于云原生安全,提供云上资产管理、安全态势管理、安全信息和事件管理、安全编排与自动响应等能力,帮助您实现一体化、自动化安全运营管理,满足您的安全需求。 态势感知(Situation Awareness,SA)是华为 云安全 管理与态势分析平台。 利用大数据分析技术,可以对攻击事件、威胁告警和攻击源头进行分类统计和综合分析,为用户呈现出全局安全攻击态势。 安全智能分析(Intelligent Security Analysis Platform,ISAP)是安全运营分析建模的数据中台系统。 支持云服务安全日志数据采集、数据检索、智能建模等功能,提供专业级的安全分析能力,实现对云负载、各类应用及数据的安全保护。 安全编排与响应(Security Operations Center,SOC)是云上开展安全运营业务活动时对风险要素、威胁、脆弱性做出快速响应的作战平台,结合安全编排与自动化响应系统(Security Operations,Analytics and Response,SOAR),对云上安全风险进行全局管控。 提供基于完整安全运营业务框架的工作台入口,可对安全资产、安全策略进行统一管理;提供面向安全运营业务流,进行自助编排、自动响应、人工处置的能力。 父主题: 产品咨询
  • 为什么主机最大配额不能小于主机数量? 主机最大配额是授权检测主机的最大数量。在购买安全云脑时,选择的最大配额需等于或大于当前账户下主机总数量,且不支持减少。如果购买的最大配额小于主机数量,可能会造成未授权检测的主机被攻击后,不能及时感知威胁,造成数据泄露等风险。 主机配额配置说明如表1所示。 表1 主机配额参数说明 参数 说明 主机配额 主机资产支持防护的最大主机数量。 请根据当前账户下所有主机资产总数设置配额数,可设置最大主机配额需等于或大于当前账户下主机总数量,且不支持减少。 说明: 主机配额最大限制为10000台。 为避免主机资产在防护份额外,不能及时感知攻击威胁,而造成数据泄露等安全风险。当主机资产数量增加后,请及时增加配额数。 父主题: 产品咨询
  • 处理告警事件 HSS通过暴力破解检测算法和全网IP黑名单,如果发现暴力破解主机的行为,对发起攻击的源IP进行拦截,并上报告警事件。 当接收到来源于HSS的告警事件时,请登录HSS管理控制台确认并处理告警事件。 如果您的主机被爆破成功,检测到入侵者成功登录主机,账户下所有云服务器可能已被植入恶意程序,建议参考如下措施,立即处理告警事件,避免进一步危害主机的风险。 请立即确认登录主机的源IP的可信情况。 请立即修改被暴力破解的系统账户口令。 请立即执行检测入侵风险账户,排查可疑账户并处理。 请及时执行恶意程序云查杀,排查系统恶意程序。 如果您的主机被暴力破解,攻击源IP被HSS拦截,请参考如下措施,加固主机安全。 请及时确认登录主机的源IP的可信情况。 请及时登录主机系统,全面排查系统风险。 请根据实际需求升级HSS防护能力。 请根据实际情况加固主机安全组、防火墙配置。 详情请参见HSS如何处理账户暴力破解事件?。
  • 适用场景 支持并行的算子 计划中存在以下算子支持并行: Scan:支持行存普通表和行存分区表顺序扫描、列存普通表和列存分区表顺序扫描、HDFS内外表顺序扫描;支持GDS数据导入的外表扫描并行。以上均不支持复制表。 Join:HashJoin、NestLoop Agg:HashAgg、SortAgg、PlainAgg、WindowAgg(只支持partition by,不支持order by) Stream:Redistribute、Broadcast 其他:Result、Subqueryscan、Unique、Material、Setop、Append、VectoRow、RowToVec SMP特有算子 为了实现并行,新增了并行线程间的数据交换Stream算子供SMP特性使用。以下新增的算子可以看做Stream算子的子类: Local Gather:实现DN内部并行线程的数据汇总 Local Redistribute:在DN内部各线程之间,按照分布键进行数据重分布 Local Broadcast:将数据广播到DN内部的每个线程 Local RoundRobin:在DN内部各线程之间实现数据轮询分发 Split Redistribute:在集群跨DN的并行线程之间实现数据重分布 Split Broadcast:将数据广播到集群所有DN的并行线程 上述新增算子可以分为Local与非Local两类,Local类算子实现了DN内部并行线程间的数据交换,而非Local类算子实现了跨DN的并行线程间的数据交换。 示例说明 以TPCH Q1的并行计划为例: 在这个计划中,实现了Hdfs Scan以及HashAgg算子的并行,并且新增了Local Gather和Split Redistribute数据交换算子。 其中6号算子为Split Redistribute算子,上面标有的“dop: 4/4”表明Split Redistribute的发送端和接收端线程的并行度均为4。4号算子为Local Gather,上面标有“dop: 1/4”,该算子的发送端线程并行度为4,而接收端线程并行度为1,即下层的5号Hash Aggregate算子按照4并行度执行,而上层的1~3号算子按照串行执行,4号算子实现了DN内并行线程的数据汇总。 通过计划Stream算子上标明的dop信息即可看出各个算子的并行情况。
共100000条