检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
批量业务运行时查到DN之间stream数量大约为600~700,当批量任务运行时如果有临时查询,就会超过上限,导致上述报错。 分析过程 GUC参数comm_max_stream表示任意两个DN之间stream的最大数量。 在CN上查询当前任意两个DN之间stream情况: 1 SELECT
表倾斜告警阈值取值范围0~1,默认值为1,即关闭状态,取其他值时为开启状态。 表倾斜告警最小行数取值范围0~2147483647,默认值为100,000。当导入总行数超过该值与导入DN数之积时,才可能触发告警,从而不会在小数据量导入的场景进行无意义的告警。 1 2 3 4 show
Studio可以使用安全套接字层[SSL]选项连接到数据库。使用SSL连接方式,用户必须在客户端或应用程序代码中配置相关的SSL连接参数。GaussDB(DWS)管理控制台提供了客户端所需的SSL证书,该SSL证书包含了客户端所需的默认证书、私钥、根证书以及私钥密码加密文件。 服务器配置 GaussDB(DWS)
接用DROP TABLE IF EXISTS修复的。 这种情况的通用修复方式为: CREATE TABLE IF NOT EXISTS将所有CN和DN的表定义补齐。 如果表没有用,就在CN上DROP table删掉所有CN和DN的表定义,如果表还有用,继续使用即可。 父主题: 数据库使用
PG_COMM_STATUS PG_COMM_STATUS视图展示单个DN的通信库状态。 表1 PG_COMM_STATUS字段 名称 类型 描述 node_name text 节点名称。 rxpck/s integer 节点通信库接收速率,单位为Byte/s。 txpck/s integer
node_port integer 节点的端口号。 node_host name 节点的主机名称或者IP(如配置为虚拟IP,则为虚拟IP)。 node_port1 integer 复制节点的端口号。 node_host1 name 复制节点的主机名称或者IP(如配置为虚拟IP,则为虚拟IP)。
数据按照行进行存储,在查询某一行数据时,可以快速定位到目标位置。 查询时即使只涉及某几列,所有数据也都会被读取。 表的字段个数比较少,查询表的大部分字段。 点查询(返回记录少,基于索引的简单查询)。 频繁进行增删改查操作且该涉及整行数据。 列存 查询时只有涉及到的列会被读取。 列数据特征比较相似,能够更有效地进行数据压缩。
和分组条件的仔细设计,能够尽可能的减少不必要的数据shuffle。 选择存储方案 【建议】表的存储类型是表定义设计的第一步,用户业务类型是决定表的存储类型的主要因素,表存储类型的选择依据请参考表1。 表1 表的存储类型及场景 存储类型 适用场景 行存 点查询(返回记录少,基于索引的简单查询)。
在分布式框架下,数据分布在各个DN上。一个或者几个DN的数据存在一块物理存储设备上,较好的表定义需要满足以下要求: 表数据均匀分布在各个DN上,以防止单个DN对应的存储设备空间不足造成集群有效容量下降。选择合适分布列,避免数据分布倾斜可以实现该点。 表Scan压力均匀分散在各个DN上,以避免单DN的Sc
pgxc类残留文件管理函数只对CN和当前主DN进行操作,不会验证和清理备DN上的残留文件。所以主DN完成清理后,应在备DN上及时执行残留文件清理操作或对备机进行build,防止主备切换后由于增量build导致备机残留文件被重新复制回主DN,导致未成功清理的假象。 使用示例 以当前两个用户自建的数据库db1、db2为例:
pgxc类残留文件管理函数只对CN和当前主DN进行操作,不会验证和清理备DN上的残留文件。所以主DN完成清理后,应在备DN上及时执行残留文件清理操作或对备机进行build,防止主备切换后由于增量build导致备机残留文件被重新复制回主DN,导致未成功清理的假象。 使用示例 以当前两个用户自建的数据库db1、db2为例:
pgxc类残留文件管理函数只对CN和当前主DN进行操作,不会验证和清理备DN上的残留文件。所以主DN完成清理后,应在备DN上及时执行残留文件清理操作或对备机进行build,防止主备切换后由于增量build导致备机残留文件被重新复制回主DN,导致未成功清理的假象。 pg_verify_res
在分布式框架下,数据分布在各个DN上。一个或者几个DN的数据存在一块物理存储设备上,较好的表定义需要满足以下要求: 表数据均匀分布在各个DN上,以防止单个DN对应的存储设备空间不足造成集群有效容量下降。选择合适分布列,避免数据分布倾斜可以实现该点。 表Scan压力均匀分散在各个DN上,以避免单DN的Sc
储单个节点客户端连接信息(DN上查询该视图显示CN连接DN的信息)。 表1 PG_COMM_CLIENT_INFO字段 名称 类型 描述 node_name text 当前节点的名称。 app text 客户端应用名。 tid bigint 当前线程的线程号。 lwtid integer
pgxc类残留文件管理函数只对CN和当前主DN进行操作,不会验证和清理备DN上的残留文件。所以主DN完成清理后,应在备DN上及时执行残留文件清理操作或对备机进行build,防止主备切换后由于增量build导致备机残留文件被重新复制回主DN,导致未成功清理的假象。 pg_rm_residualfiles(filepath)
储单个节点客户端连接信息(DN上查询该视图显示CN连接DN的信息)。 表1 PG_COMM_CLIENT_INFO字段 名称 类型 描述 node_name text 当前节点的名称。 app text 客户端应用名。 tid bigint 当前线程的线程号。 lwtid integer
所有节点客户端连接信息(DN上查询该视图显示CN连接DN的信息)。 表1 PGXC_COMM_CLIENT_INFO字段 名称 类型 描述 node_name text 当前节点的名称。 app text 客户端应用名。 tid bigint 当前线程的线程号。 lwtid integer
所有节点客户端连接信息(DN上查询该视图显示CN连接DN的信息)。 表1 PGXC_COMM_CLIENT_INFO字段 名称 类型 描述 node_name text 当前节点的名称。 app text 客户端应用名。 tid bigint 当前线程的线程号。 lwtid integer
到最大值,若日志中出现'invalid value for parameter "max_connections"',需要调小DN的max_connections值。 默认值:CN节点为800,DN节点为5000,如果该默认值超过内核支持的最大值(在执行gs_initdb的时候判断),系统会提示错误。
旧集群升级到及以上新集群版本的默认值计算公式为:max_stream_pool=MIN(max_connections, max_process_memory/16/5MB, 1024,旧集群值),升级时也强制应用新装集群的设置值,但旧值小时取旧值。 支持实时减少线程池中stream线程的个数;若增