检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
清除资源 当完成本教程的示例后,如果不再需要使用本示例中创建的资源,可以删除这些资源,以免资源浪费或占用配额。步骤如下: 删除外表和目标表 删除创建的外部服务器 删除数据库及其所属的用户 如果您执行了(可选)新建用户及数据库并授予外表权限中的步骤,请删除数据库及其所属的用户。 删除外表和目标表
数据倾斜调优 数据倾斜问题是分布式架构的重要难题,它破坏了MPP架构中各个节点对等的要求,导致单节点(倾斜节点)所存储或者计算的数据量远大于其他节点,所以会造成以下危害: 存储上的倾斜会严重限制系统容量,在系统容量不饱和的情况下,由于单节点倾斜的限制,使得整个系统容量无法继续增长。
安装配置和启动GDS 操作场景 GaussDB(DWS)提供了数据服务工具GDS来帮助分发待导入的用户数据及实现数据的高速导入。GDS需部署到数据服务器上。 数据量大,数据存储在多个服务器上时,在每个数据服务器上安装配置、启动GDS后,各服务器上的数据可以并行入库。GDS在各台数
node_net_stat 节点网络信息 ctime Timestamp 采集时间。 virtual_cluster_id Integer 集群虚拟ID。 host_id Integer 采集上报的节点ID。 interface String 网络接口。 rxpps Float 收包数/s。
"Failed to copy %s." SQLSTATE: 无 错误原因:复制文件失败。 解决办法:检查待复制的文件是否存在,目的路径是否存在,网络是否正常。 GAUSS-50216: "Failed to remote copy %s." SQLSTATE: 无 错误原因:远程复制文件/目录失败。
不需要用户单独调用持久化函数持久化用户监控数据。 当用户数量较多,集群规模较大时,查询此类实时视图,因CN/DN间实时通信开销,会有一定的网络延时。 初始管理用户不进行资源监控。 操作步骤 查询所有用户的资源限额和资源实时使用情况。 1 SELECT * FROM PG_TOTA
weird"" name"解析成A weird" name。 对参数的分析在遇到另一个不带引号的反斜杠时停止。这里会认为是一个新的元命令的开始。特殊的双反斜杠序列(\\)标识参数的结尾并将继续分析后面的SQL语句(如果存在)。这样SQL和gsql命令可以自由地在一行里面混合。但是在任何情况下,一条元命令的参数不能延续超过行尾。
GDS导出示例 Remote模式导出 规划数据服务器与集群处于同一内网,数据服务器IP为192.168.0.90,导出数据文件格式为CSV,所以规划的并行导出模式为Remote模式。 Remote模式并行导出数据操作示例如下所示: 以root用户登录GDS数据服务器,创建数据文件
安装配置和启动GDS 操作场景 GaussDB(DWS)提供了数据服务工具GDS来帮助分发待导入的用户数据及实现数据的高速导入。GDS需部署到数据服务器上。 数据量大,数据存储在多个服务器上时,在每个数据服务器上安装配置、启动GDS后,各服务器上的数据可以并行入库。GDS在各台数
创建外部服务器 创建HDFS外部服务器的操作步骤如下: 手动创建外部服务器 使用数据库管理员通过GaussDB(DWS)提供的数据库客户端连接默认数据库postgres。 例如:通过gsql客户端登录数据库的用户可以使用以下两种方法中的一种进行连接: 可以通过以下两种方法中的一种进行连接:
断是大量查询的估算内存偏大导致告警,需要对相关表执行analyze操作。 确认其他资源竞争是否激烈。 按照2的方法,查看集群CPU、IO、网络的使用情况。 如果出现满负载,则查询实时TopSQL将占用资源高的语句清理掉。 确认是否短时间内提交查询过多。 通过下面SQL查询任务执行情况。
Replication 表中的全量数据在集群的每一个DN实例上保留一份。 优点:每个DN上都有此表的全量数据,JOIN操作中可以完全避免节点间数据通信,从而减小网络开销,同时减少了STREAM线程启停开销。 缺点:每个DN都保留了表的完整数据,数据的冗余,占用更多存储空间。 小表、维度表。 规则2.10
Replication 表中的全量数据在集群的每一个DN实例上保留一份。 优点:每个DN上都有此表的全量数据,JOIN操作中可以完全避免节点间数据通信,从而减小网络开销,同时减少了STREAM线程启停开销。 缺点:每个DN都保留了表的完整数据,数据的冗余,占用更多存储空间。 小表、维度表。 规则2.10
导出表 GaussDB(DWS)支持使用gs_dump工具导出表级的内容,包含表定义和表数据。视图、序列和外表属于特殊的表。用户可通过灵活的自定义方式导出表内容,不仅支持选定一个表或多个表的导出,还支持排除一个表或者多个表的导出。可根据需要自定义导出如下信息: 导出表全量信息,包含表数据和表定义。
"ecfClusterElbCreateJob", "begin_time" : "2022-11-09T20:25:00", "end_time" : "2022-11-09T20:30:00", "failed_code" : "CreateELBTask-fail:DWS
FOREIGN TABLE (SQL on other GaussDB(DWS)) GDS互联互通支持网络压缩 新增参数gds_compress,用于降低用户使用GDS管道文件时集群之间互联互通的网络带宽。 SQL语法参考>DDL语法>CREATE FOREIGN TABLE (GDS导入导出)
命令参考 详细的gsql参数请参见表1、表2、表3和表4。 表1 常用参数 参数 参数说明 取值范围 -c, --command=COMMAND 声明gsql要执行一条字符串命令然后退出。 - -C, --set-file=FILENAME 使用文件作为命令源而不是交互式输入,g
表1 集群规格 机器型号 dws.d2.xlarge VM CPU 4*CPU E5-2680 v2 @ 2.80GHZ 内存 32GB 网络 1GB 磁盘 1.63TB 节点数目 8 请使用下面的基准表来记录结果。 表2 记录结果 基准 优化前 优化后 加载时间(11张表) 341584
别查询视图。普通用户仅支持登录到集群的某个CN查询以gs为前缀的视图。 查询此类实时视图时,因需要获取作业运行实时资源使用情况,会有一定的网络延时。 实例故障时,实时TopSQL视图有可能记录不全。 实时TopSQL中能够记录的SQL语句的规格是: 不记录特殊数据定义语句,如:SET、RESET、SHOW、ALTER
详细介绍请参见通过成本标签维度查看成本分配。 使用成本单元进行成本分配 企业可以使用成本中心的“成本单元”来拆分公共成本。公共成本是指多个部门共享的计算、网络、存储或资源包产生的云成本,或无法直接通过企业项目、成本标签分配的云成本。这些成本不能直接归属于单一所有者,因此不能直接归属到某一类别。使