检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
规划导出路径 Remote模式 以root用户登录GDS数据服务器,创建导出的数据文件存放目录“/output_data”。 1 mkdir -p /output_data (可选)创建用户及所属的用户组。此用户为启动GDS的用户,该用户需要拥有导出数据文件存放目录的写权限。 1
DS来帮助分发待导入的用户数据及实现数据的高速导入。GDS需部署到数据服务器上。 数据量大,数据存储在多个服务器上时,在每个数据服务器上安装配置、启动GDS后,各服务器上的数据可以并行入库。GDS在各台数据服务器上的安装配置和启动方法相同,本节以一台服务器为例进行说明。 背景信息
现数据的高速导出。 当不在使用GDS时,可通过以下步骤停止GDS。 操作步骤 以gds_user用户登录安装GDS的数据服务器。 请根据启动GDS的方式,选择停止GDS的方式。 若用户使用“gds”命令启动GDS,请使用以下方式停止GDS。 执行如下命令,查询GDS进程号。 ps
停止GDS 操作场景 待导入数据成功后,停止GDS。 操作步骤 以gds_user用户登录安装GDS的数据服务器。 请根据启动GDS的方式,选择停止GDS的方式。 若用户使用“gds”命令启动GDS,请使用以下方式停止GDS。 执行如下命令,查询GDS进程号。 ps -ef|grep
目标表:数据库中的实表。数据源文件中的数据最终导入到这些表中存储,包括行存表和列存表。 GDS并发导入 数据量大,数据存储在多个服务器上时,在每个数据服务器上安装配置、启动GDS后,各服务器上的数据可以并行入库。如图2所示。 图2 多数据服务器并行导入 GDS进程数目不能超过DN数目。如果超过,会
作。 角色之间的权限可以继承,用户组的所有用户可自动继承对应角色的权限。 数据库中USER与ROLE的关系为:USER的权限来自于ROLE。 用户组包含了具有相同权限的用户集合。 用户可以看作是具有登录权限的角色。 角色可以看作是没有登录权限的用户。 DWS提供的权限包括“管理面
DS。 操作步骤 在使用GDS导入/导出数据前,请先参考教程:使用GDS从远端服务器导入数据中的步骤:“准备ECS作为GDS服务器”、“下载GDS工具包”。 以root用户登录待安装GDS的数据服务器,创建存放GDS工具包的目录。 mkdir -p /opt/bin/dws 将GDS工具包上传至上一步所创建的目录中。
创建弹性云服务器ECS和数据仓库GaussDB(DWS) 创建弹性云服务器ECS 创建数据仓库GaussDB(DWS) 父主题: 测试方法
DN每隔5s更新一次监控信息,CN每隔5s从DN收集一次用户监控信息,因为各实例单独更新/收集用户监控信息,因此各实例监控信息更新时间可能不一致。 辅助线程中每隔30s自动调用持久化函数,持久化用户监控数据,正常情况下不需要用户单独调用持久化函数持久化用户监控数据。 当用户数量较多,集群规模较大时,查询此
pg_refresh_storage() 描述:切换所有冷热表,将符合冷热切换规则的数据由热数据切换至冷数据(OBS中)。 返回值类型:int 返回值字段: success_count int:切换成功的表个数 failed_count int:切换失败的表个数 示例: 1 2 3 4 5
示例:创建GDS导出外表foreign_tpcds_reasons,待导出数据格式为CSV,用于接收数据服务器上的数据。 其中设置的导出模式信息如下所示: 规划数据服务器与集群处于同一内网,数据服务器IP为192.168.0.90,待导出的数据文件格式为CSV,选择并行导出模式为Remote模式。
当前版本的GDS支持从数据库导出到管道文件,该功能使GDS的导出更加灵活多变。 当GDS用户的本地磁盘空间不足时: 通过管道文件将从GDS导出的数据进行压缩减少磁盘空间。 通过管道直接将导出来的数据放到hdfs服务器上。 当用户导出前需要清洗数据时: 用户可以根据自己的需求编写程序,将需要处理的流式数据实时从管道中读取内容,完成导出的数据清洗工作。
foreign_product_info; 删除手动创建的外部服务器 如果执行了手动创建外部服务器,请按照以下步骤删除外部服务器、数据库和用户。 使用创建外部服务器的用户通过GaussDB(DWS)提供的数据库客户端连接到外部服务器所在的数据库。 例如,使用gsql客户端的用户可以通过以下两种方法中的一种进行连接:
检查和调整分布列,避免导入大量数据后发现数据倾斜,调整成本高。 前提条件 GDS服务器和GaussDB(DWS)集群之间网络可以互通。 需要创建一个弹性云服务器作为GDS服务器。 创建的弹性云服务器与GaussDB(DWS)集群应处于同一区域、同一虚拟私有云和子网。 操作步骤 在
pg_refresh_storage() 描述:切换所有冷热表,将符合冷热切换规则的数据由热数据切换至冷数据(OBS中)。 返回值类型:int 返回值字段: success_count int:切换成功的表个数 failed_count int:切换失败的表个数 示例: 1 2 3 4 5
字段值长度超过限制。 在数据源文件中,修改字段值长度。根据此错误信息,字段值长度限制为VARCHAR2(16)。 父主题: 使用GDS从远端服务器导入数据
此时容灾的“容灾状态”显示为“异常切换中”,异常切换需要时间请耐心等待。 切换成功后“容灾状态”更新为切换前的状态,如:切换前容灾状态为“异常”,切换后还是“异常”。 “异常切换”按钮用于容灾异常或者生产集群故障情况下主备切换操作。 容灾异常切换仅8.1.2及以上集群版本支持。 异常切换会将灾备集群升
GaussDB(DWS)用户及权限管理 GaussDB(DWS)数据库用户类型 GaussDB(DWS)数据库用户管理 自定义GaussDB(DWS)密码策略 GaussDB(DWS)数据库权限管理 GaussDB(DWS)三权分立 父主题: GaussDB(DWS)数据库安全管理
IAM用户。 教程一:IAM项目视图下的只读操作 创建用户组并授权。 使用华为云账号登录IAM控制台,创建用户组,并授予数据仓库服务的只读权限“DWS ReadOnlyAccess”。 创建用户并加入用户组。 在IAM控制台创建用户,并将其加入步骤1中创建的用户组。 用户登录并验证权限。
该方式应用于安全性要求较高的场景。使用此方式时,建议设置客户端的PGSSLMODE变量为verify-ca。确保了网络数据的安全性。 单向认证 客户端只验证服务器证书的有效性,而服务器端不验证客户端证书的有效性。服务器加载证书信息并发送给客户端,客户端使用根证书来验证服务器端证书的有效性。 设置如下环境变量: