检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检查和调整分布列,避免导入大量数据后发现数据倾斜,调整成本高。 前提条件 GDS服务器和GaussDB(DWS)集群之间网络可以互通。 需要创建一个弹性云服务器作为GDS服务器。 创建的弹性云服务器与GaussDB(DWS)集群应处于同一区域、同一虚拟私有云和子网。 操作步骤 在
停止GDS 操作场景 待导入数据成功后,停止GDS。 操作步骤 以gds_user用户登录安装GDS的数据服务器。 请根据启动GDS的方式,选择停止GDS的方式。 若用户使用“gds”命令启动GDS,请使用以下方式停止GDS。 执行如下命令,查询GDS进程号。 ps -ef|grep
创建MRS分析集群(选择Hive、Spark、Tez组件)。 通过将本地txt数据文件上传至OBS桶,再通过OBS桶导入Hive,并由txt存储表导入ORC存储表。 创建MRS数据源连接。 创建外部服务器。 创建外表。 通过外表导入DWS本地表。 创建MRS分析集群 登录华为云控制台,选择“大数据 > Ma
连接,请指定为集群“公网访问域名”,如果通过内网地址连接,请指定为集群“内网访问域名”。如果通过弹性负载均衡连接,请指定为“弹性负载均衡地址”。 “数据库用户”:输入集群数据库的用户名。首次使用客户端连接集群时,请指定为创建集群时设置的默认管理员用户,例如“dbadmin”。 “
row) 本函数只能验证记录的文件在当前登录的数据库中是否是残留文件。如果记录的文件不属于当前登录的数据库,则不会进行校验行为。 pg_verify_residualfiles() 描述:用于验证当前实例上所有残留文件列表中记录的文件是否为残留文件。该函数为实例级函数,与当前所在的数据库相关,可以在任意实例上运行。
删除残留文件函数 pg_rm_residualfiles(filepath) 描述:用于删除当前实例中指定残留文件列表中的文件。该函数为实例级函数,与当前所在的数据库无关,可以在任意实例上运行。 参数类型:text 返回值类型:record 函数返回字段如下: 表1 pg_rm_
身份认证与访问控制 资源访问控制(IAM权限控制) 数据库访问实现权限分层 GRANT授权和REVOKE撤销授权 行级访问控制 父主题: 安全
t (1 row) 残留文件只有在调用pg_verify_residualfiles()进行verify后才能被真正删除。 删除动作不区分数据库,指定文件中所有已经verify的文件都会被删除。 如果指定文件中记录的所有文件都已经被删除,指定文件会被移除并备份到$PGDATA
compression=middle) DISTRIBUTE BY hash (ca_address_sk); 用户通过管理控制台登录到OBS数据服务器。在OBS数据服务器上,分别创建数据文件存放的两个桶“/input-data1”和“/input-data2”,并创建每个桶下面的data目
每个数据库包括一个或多个Schema。每个Schema包含表、视图、函数等其他类型的对象。 用户要访问底层的对象,必须先赋予上层对象的权限。 用户要创建或者删除Schema,需要首先被授予Database的CREATE权限。 用户要访问包含在Schema中的table1,需要首先被授予Database的
创建弹性云服务器ECS和数据仓库GaussDB(DWS) 创建弹性云服务器ECS 创建数据仓库GaussDB(DWS) 父主题: 测试方法
统计信息函数 统计信息函数根据访问对象分为两种类型: 针对某个数据库进行访问的函数,以数据库中每个表或索引的OID作为参数,标识需要报告的数据库。 针对某个服务器进行访问的函数,以一个服务器进程号为参数,其范围从1到当前活跃服务器的数目。 pg_stat_get_db_numbackends(oid)
db2中的残留文件都未被删除。 同时可以看到查询出9条结果,与之前查询出的结果相比,缺少一条以9438结尾的残留文件记录文件。这是因为以9438结尾的残留文件记录文件中只有一条残留文件记录,这条记录在步骤3中被删除,当记录文件中的所有残留文件都被删除后,记录文件本身也会被删除,
db2中的残留文件都未被删除。 同时可以看到查询出9条结果,与之前查询出的结果相比,缺少一条以9438结尾的残留文件记录文件。这是因为以9438结尾的残留文件记录文件中只有一条残留文件记录,这条记录在步骤3中被删除,当记录文件中的所有残留文件都被删除后,记录文件本身也会被删除,
“公网访问域名”,如果通过内网地址连接,请指定为集群“内网访问域名”。如果通过弹性负载均衡连接,请指定为“弹性负载均衡地址”。 “数据库用户”:输入集群数据库的用户名。首次使用客户端连接集群时,请指定为创建集群时设置的默认管理员用户,例如“dbadmin”。 “数据库端口”:输入创建集群时设置的“数据库端口”。
避免同时对多个协同分析外表进行跨集群并发访问 原理说明:在A集群通过协同分析访问B集群数据时,A集群所有DN会与B集群CN建立连接和活跃会话。 违反规范的影响: B集群(远端集群)中CN压力过大,导致连接和活跃会话资源超限,访问异常。 方案建议: 应尽量使用外表单表访问并避免并发,避免多外表关联
避免同时对多个协同分析外表进行跨集群并发访问 原理说明:在A集群通过协同分析访问B集群数据时,A集群所有DN会与B集群CN建立连接和活跃会话。 违反规范的影响: B集群(远端集群)中CN压力过大,导致连接和活跃会话资源超限,访问异常。 方案建议: 应尽量使用外表单表访问并避免并发,避免多外表关联
获取残留文件列表函数 pg_get_residualfiles() 描述:用于获取当前节点的所有残留文件记录。该函数为实例级函数,与当前所在的数据库无关,可以在任意实例上运行。 返回值类型:record 返回信息如下: 表1 pg_get_residualfiles()返回字段 名称
row) 本函数只能验证记录的文件在当前登录的数据库中是否是残留文件。如果记录的文件不属于当前登录的数据库,则不会进行校验行为。 pg_verify_residualfiles() 描述:用于验证当前实例上所有残留文件列表中记录的文件是否为残留文件。该函数为实例级函数,与当前所在的数据库相关,可以在任意实例上运行。
获取残留文件列表函数 pg_get_residualfiles() 描述:用于获取当前节点的所有残留文件记录。该函数为实例级函数,与当前所在的数据库无关,可以在任意实例上运行。 参数类型:无 返回值类型:record 函数返回字段如下: 表1 pg_get_residualfiles()返回字段