检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
function 'PGXC_POOL_CONNECTION_STATUS' in distributed query. 解决方案:请使用不与分布式表连接的简单查询。 level: ERROR 父主题: 通信
GaussDB(DWS)函数和存储过程有什么区别? 函数和存储过程是数据库管理系统中常见的两种对象,它们在实现特定功能时具有相同点,也有不同点。了解它们的特点和适用场景,对于合理设计数据库结构和提高数据库性能具有重要意义。 表1 函数和存储过程的区别 函数 存储过程 两者都可以用于实现特定的功能。无
集群列表中,在指定集群所在行的“任务信息”列,单击“查看详情”。 重分布中会显示重分布状态、重分布配置、重分布整体进度以及指定数据库下所有数据库表的重分布详情。用户在查看数据表重分布详情时,必须指定一个数据库,且支持按照表的重分布状态和表名作为条件的搜索,由于重分布机制的原因,若某数据库下
GaussDB(DWS)唯一约束和唯一索引有什么区别? 唯一约束和唯一索引概念上不同 唯一约束确保一列或者一组列中包含的数据对于表中所有的行都是唯一的。 如果没有声明DISTRIBUTE BY REPLICATION,则唯一约束的列集合中必须包含分布列。 唯一索引用于限制索引字段值的唯一性,或者是多个字段组合值的唯一性。CREATE
GaussDB(DWS)的OBS外表与GDS外表支持的数据格式有什么区别? OBS与GDS外表支持格式文件区别如下: OBS导入支持ORC、TEXT、JSON、CSV、CARBONDATA、PARQUET文件格式,导出支持ORC、CSV、TEXT文件格式,缺省值为TEXT。 GD
分布列选择不当,在数据导入后有可能出现数据分布倾斜,进而导致某些磁盘的使用明显高于其他磁盘,极端情况下会导致集群只读。合理的选择分布键,对表查询的性能至关重要。此外,合适的分布键还可以使数据的索引更快地创建和维护。 单表存储数据量 单表存储的数据量越大,查询性能就越差。当表中的数据量很大时,则需要考虑将数据进行分
not identify CTID expression" SQLSTATE: 22000 错误原因:获取到的表达式不是ctid相关的表达式。 解决办法:查看执行计划,检查表达式返回的类型是否是ctid类型,若否,请联系技术支持工程师提供技术支持。 GAUSS-02268: "invalid
TE 违反规范的影响: 针对列存表频繁执行UPDATE/DELETE造成CU膨胀,导致空间膨胀和访问性能下降。 针对列存表并发执行UPDATE/DELETE,导致行锁阻塞和分布式死锁风险,导致业务报错和性能下降。 方案建议: 频繁执行UPDATE/DELETE操作的表需设计为行存表。
TE 违反规范的影响: 针对列存表频繁执行UPDATE/DELETE造成CU膨胀,导致空间膨胀和访问性能下降。 针对列存表并发执行UPDATE/DELETE,导致行锁阻塞和分布式死锁风险,导致业务报错和性能下降。 方案建议: 频繁执行UPDATE/DELETE操作的表需设计为行存表。
le占用了大量宝贵的网络资源,减小不必要的数据shuffle,可以减少网络压力,使数据的处理本地化,提高集群的性能和可支持的并发度。通过对关联条件和分组条件的仔细设计,能够尽可能的减少不必要的数据shuffle。 选择存储方案 【建议】表的存储类型是表定义设计的第一步,用户业务类
le占用了大量宝贵的网络资源,减小不必要的数据shuffle,可以减少网络压力,使数据的处理本地化,提高集群的性能和可支持的并发度。通过对关联条件和分组条件的仔细设计,能够尽可能的减少不必要的数据shuffle。 选择存储方案 【建议】表的存储类型是表定义设计的第一步,用户业务类
by列为分布列可以最大程度的实现这点。 从上述描述来看表定义中最重要的一点是分布列的选择。创建表定义一般遵循图1所示流程。表定义在数据库设计阶段创建,在SQL调优过程中进行审视和修改。 图1 表定义流程 审视和修改表定义的具体操作方法,请参见基于表结构设计和调优提升GaussDB(DWS)查询性能。
by列为分布列可以最大程度的实现这点。 从上述描述来看表定义中最重要的一点是分布列的选择。创建表定义一般遵循图1所示流程。表定义在数据库设计阶段创建,在SQL调优过程中进行审视和修改。 图1 表定义流程 审视和修改表定义的具体操作方法,请参见基于表结构设计和调优提升GaussDB(DWS)查询性能。
)或RDS。 表1 OLTP和OLAP特性比较 特性 OLTP OLAP 用户 操作人员,低层管理人员 决策人员,高级管理人员 功能 日常操作处理 分析决策 设计 面向应用 面向主题 数据 最新的,细节的,二维的,分离的 历史的,集成的,多维的,统一的 存取 读/写数十条记录 读上百万条记录
通过数据湖探索服务 DLI Flink作业将Kafka的消费数据实时同步至GaussDB(DWS)数据仓库,实现Kafka实时入库到GaussDB(DWS)的过程。 了解DLI请参见数据湖产品介绍 。 了解Kafka请参见分布式消息服务Kafka产品介绍。 图1 Kafka实时入库DWS
2及以上集群版本,可通过GUC参数default_distribution_mode来查询和设置表的默认分布方式。 如果建表时没有指定分布列,数据会以下几种场景来存储: 场景一 若建表时包含主键/唯一约束,则选取HASH分布,分布列为主键/唯一约束对应的列。 1 2 3 4 5 6 7 8 9
定义字段名,以d#2_e为例,从命名可以看出该字段是数组d的第二个元素里嵌套的e对象。表关联的OBS服务器为obs_server。foldername为外表中数据源文件目录,即表数据目录在OBS上对应的文件目录。 认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
characters]) 从字符串string的指定位置删除只包含characters中字符(缺省为空格)的最长的字符串。 从字符串string的指定位置删除只包含characters中字符(缺省为空格)的最长的字符串。 从字符串string的指定位置删除等于characters的字符串(缺省为空格)。
范围分区是根据表的一列或者多列,将要插入表的记录分为若干个范围,这些范围在不同的分区里没有重叠。为每个范围创建一个分区,用来存储相应的数据。 范围分区策略是指记录插入分区的方式,根据分区键值将记录映射到已创建的某个分区上,如果可以映射到已创建的某一分区上,则把记录插入到对应的分区上,否
查询性能概述。 基于调优表实践的具体步骤,您可以进一步应用“基于表结构设计和调优提升GaussDB(DWS)查询性能”中的优秀实践方法来改进表的分配,以达到您所期望的数据加载、存储和查询方面的效果。 清除资源 在完成本次实践之后,应删除集群。 如果需要保留集群,删除SS表,请执行以下命令。