-
服务器信号函数 - 数据仓库服务 GaussDB(DWS)
row) pg_rotate_logfile() 描述:滚动服务器的日志文件。 返回值类型:boolean 备注:pg_rotate_logfile通知日志文件管理器立即切换到一个新的输出文件。该函数仅在内置日志收集器运行时有效。 示例: 1 2 3 4 5 SELECT pg_rotate_logfile();
-
服务器信号函数 - 数据仓库服务 GaussDB(DWS)
row) pg_rotate_logfile() 描述:滚动服务器的日志文件。 返回值类型:boolean 备注:pg_rotate_logfile通知日志文件管理器立即切换到一个新的输出文件。该函数仅在内置日志收集器运行时有效。 示例: 1 2 3 4 5 SELECT pg_rotate_logfile();
-
创建外部服务器 - 数据仓库服务 GaussDB(DWS)
gaussdb -h 192.168.2.30 -U dbadmin -p 8000 -W password -r 新建一个普通用户,并用它创建一个数据库。 新建一个具有创建数据库权限的用户dbuser: 1 CREATE USER dbuser WITH CREATEDB PASSWORD
-
手动创建外部服务器 - 数据仓库服务 GaussDB(DWS)
gaussdb -h 192.168.2.30 -U dbadmin -p 8000 -W password -r 新建一个普通用户,并用它创建一个数据库。 新建一个具有创建数据库权限的用户dbuser: 1 CREATE USER dbuser WITH CREATEDB PASSWORD
-
备服务器 - 数据仓库服务 GaussDB(DWS)
代表最小剩余空间,z代表当前磁盘总容量。 当前build实例需同时满足以下两个条件才会进行build备份生产pg_rewind_bak,占用额外空间;不满足则不进行build备份,不占用额外空间。 条件一:当前磁盘总容量>= zG。如果不满足该条件则不进行备份;若满足该条件会继续对条件二进行判断。
-
GDS导入示例 - 数据仓库服务 GaussDB(DWS)
grep gds kill -9 128954 多线程导入 规划数据服务器与集群处于同一内网,数据服务器IP为192.168.0.90,导入的数据源文件格式为CSV,同时导入2个目标表。 以root用户登录GDS数据服务器,创建数据文件存放目录“/input_data”,以及子目录“/
-
数据库、数据仓库、数据湖、湖仓一体分别是什么? - 数据仓库服务 GaussDB(DWS)
业务分析师为主。 什么是湖仓一体? 虽然数据仓库和数据湖的应用场景和架构不同,但它们并不是对立关系。数据仓库存储结构化的数据,适用于快速的BI和决策支撑,而数据湖可以存储任何格式的数据,往往通过挖掘能够发挥出数据的更大作为,因此在一些场景上二者的并存可以给企业带来更多收益。 湖仓一体,又被称为Lake
-
发送端服务器 - 数据仓库服务 GaussDB(DWS)
并且日志同步正常后,动态恢复此参数设置。 max_build_io_limit 参数说明:用于限制主机在提供备机重建(build)会话时,一秒时间内所允许磁盘读取的数据流量。 参数类型:SIGHUP 取值范围:整型,0~1048576,单位为KB。 默认值:0,表示主机对备机build无IO流控限制。
-
发送端服务器 - 数据仓库服务 GaussDB(DWS)
并且日志同步正常后,动态恢复此参数设置。 max_build_io_limit 参数说明:用于限制主机在提供备机重建(build)会话时,一秒时间内所允许磁盘读取的数据流量。 参数类型:SIGHUP 取值范围:整型,0~1048576,单位为KB。 默认值:0,表示主机对备机build无IO流控限制。
-
执行导出数据 - 数据仓库服务 GaussDB(DWS)
执行导出数据 前提条件 需要确保每一个CN和DN所在服务器到GDS服务器的IP和端口是互通的。 导出操作语法 执行数据导出语法: 1 INSERT INTO [foreign table 表名] SELECT * FROM [源表名]; 编写批处理任务脚本,实现并发批量导出数
-
主服务器 - 数据仓库服务 GaussDB(DWS)
主服务器 vacuum_defer_cleanup_age 参数说明:指定VACUUM使用的事务数,VACUUM会延迟清除无效的行存表记录,延迟的事务个数通过vacuum_defer_cleanup_age进行设置。即VACUUM和VACUUM FULL操作不会立即清理刚刚被删除元组。
-
主服务器 - 数据仓库服务 GaussDB(DWS)
主服务器 vacuum_defer_cleanup_age 参数说明:指定VACUUM使用的事务数,VACUUM会延迟清除无效的行存表记录,延迟的事务个数通过vacuum_defer_cleanup_age进行设置。即VACUUM和VACUUM FULL操作不会立即清理刚刚被删除元组。
-
创建外部服务器 - 数据仓库服务 GaussDB(DWS)
创建外部服务器 HDFS创建外部服务器请参见手动创建外部服务器。 父主题: 导出ORC数据到MRS
-
执行导入数据 - 数据仓库服务 GaussDB(DWS)
入大量数据后发现数据倾斜,调整成本高。 前提条件 GDS服务器和GaussDB(DWS)集群之间网络可以互通。 需要创建一个弹性云服务器作为GDS服务器。 创建的弹性云服务器与GaussDB(DWS)集群应处于同一区域、同一虚拟私有云和子网。 操作步骤 在GaussDB(DWS)
-
创建外部服务器 - 数据仓库服务 GaussDB(DWS)
创建外部服务器 OBS创建外部服务器请参见创建外部服务器。 HDFS创建外部服务器请参见手动创建外部服务器。 父主题: 导出ORC数据到OBS
-
PG - 数据仓库服务 GaussDB(DWS)
PG_FOREIGN_SERVER PG_FOREIGN_SERVER系统表存储外部服务器定义。一个外部服务器描述了一个外部数据源,例如一个远程服务器。外部服务器通过外部数据封装器访问。 表1 PG_FOREIGN_SERVER字段 名字 类型 引用 描述 oid oid - 行
-
PG - 数据仓库服务 GaussDB(DWS)
PG_FOREIGN_SERVER PG_FOREIGN_SERVER系统表存储外部服务器定义。一个外部服务器描述了一个外部数据源,例如一个远程服务器。外部服务器通过外部数据封装器访问。 表1 PG_FOREIGN_SERVER字段 名字 类型 引用 描述 oid oid - 行
-
安装配置和启动GDS - 数据仓库服务 GaussDB(DWS)
gds_env 启动GDS服务。 GDS是绿色软件,解压后启动即可。GDS启动方式有两种: 方式一:直接使用“gds”命令,在命令项中设置启动参数。 方式二:将启动参数写进配置文件“gds.conf”后, 使用“gds_ctl.py”命令启动。 对于集中一次性导入的场景推荐使用第一种方式。对于
-
GDS导出示例 - 数据仓库服务 GaussDB(DWS)
多线程导出 规划数据服务器与集群处于同一内网,数据服务器IP为192.168.0.90,导出的数据文件格式为CSV,同时导出2个目标表,所以规划使用Remote模式进行多线程导出。 Remote模式多线程导出数据操作示例如下所示: 以root用户登录GDS数据服务器,创建导出数据文件
-
处理导入错误 - 数据仓库服务 GaussDB(DWS)
的字段值。 在创建外表时,将参数“fill_missing_fields”设置为“on”。即当导入过程中,若数据源文件中一行数据的最后一个字段缺失,则把最后一个字段的值设置为NULL,不报错。 对由于转义字符导致的错误,需检查报错的行中是否含有转义字符(\)。若存在,建议在创建外