检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实时数仓简介 实时数仓需要支持将insert+upsert+update等操作实时快速入库,数据来源于上游的其他数据库或者应用,同时要求入库后的数据能及时查询,并对于查询的效率要求很高。 目前GaussDB(DWS)传统数仓已有的行存表或者列存表都无法同时满足实时入库和实时查询两个诉求
预写式日志 设置 检查点 父主题: GaussDB(DWS)数据库GUC参数
支持的数据类型 目前大数据领域,主流文件格式为ORC。GaussDB(DWS)主要支持ORC文件格式。用户利用HIVE将数据导出存储为ORC文件格式,使用GaussDB(DWS)通过只读外表对ORC文件内的数据进行查询分析,因此,需要在ORC文件格式支持的数据类型与GaussDB(
范围类型 范围类型是表示某些元素类型(称为范围的子类型)的值范围的数据类型。例如,时间戳范围可用于表示保留会议室的时间范围。在这种情况下,数据类型为tsrange(“时间戳范围”的缩写),时间戳是子类型。子类型必须具有总体的顺序,以便很好地定义元素值是在值的范围内、之前还是之后。
优化查询性能概述 性能调优是数据库应用开发和迁移过程中的关键步骤,在整个项目实施过程中占据很大的份量。通过性能调优可以提高数据库的资源利用率,降低业务成本,还可以大大降低应用系统的运行风险,提高系统稳定性,给客户带来更大的价值。 SQL调优的唯一目的是“资源利用最大化”,即CPU、
GAUSS-03041 -- GAUSS-03050 GAUSS-03041: "the minute = %d is illegal" SQLSTATE: 0A000 错误原因:分钟值非法。 解决办法:请检查分钟值是否在0-59之间。 GAUSS-03042: "the second
规划导出数据 OBS导出数据准备:请参见规划导出数据完成OBS导出数据准备。 OBS导出支持的数据类型请参见表1。 表1 ORC格式的只写外表与HIVE数据类型匹配关系 类型名称 GaussDB(DWS)内表支持类型(数据源表) GaussDB(DWS)只写外表对应的类型 HIVE
SQL调优指南 调优流程 更新统计信息 审视和修改表定义 SQL语句改写规则 典型SQL调优点 使用Plan Hint进行调优 例行维护表 例行重建索引 SQL调优关键参数调整 配置SMP 查询最耗性能的SQL 分析作业是否被阻塞
列存表支持的数据类型 列存表支持的数据类型如表1所示。其他未列举的数据类型,暂不支持。 表1 列存表支持的数据类型 类别 数据类型 描述 长度 数值类型 smallint 小范围整数,别名为INT2。 2 integer 常用的整数,别名为INT4。 4 bigint 大范围的整数
规划导出数据 MRS导出支持的数据类型请参见表2。 表1 ORC格式的只写外表与HIVE数据类型匹配关系 类型名称 GaussDB(DWS)内表支持类型(数据源表) GaussDB(DWS)只写外表对应的类型 HIVE建表类型 1字节整数 TINYINT TINYINT(不推荐)
列存表支持的数据类型 列存表支持的数据类型如表1所示。其他未列举的数据类型,暂不支持。 表1 列存表支持的数据类型 类别 数据类型 描述 长度 数值类型 smallint 小范围整数,别名为INT2。 2 integer 常用的整数,别名为INT4。 4 bigint 大范围的整数
列存表支持的数据类型 列存表支持的数据类型如表1所示。其他未列举的数据类型,暂不支持。 表1 列存表支持的数据类型 类别 数据类型 描述 长度 数值类型 smallint 小范围整数,别名为INT2。 2 integer 常用的整数,别名为INT4。 4 bigint 大范围的整数
GAUSS-03341 -- GAUSS-03350 GAUSS-03341: "'9' must be ahead of 'PR'" SQLSTATE: 42601 错误原因:数值格式错误,“9”应出现在“PR”之前。 解决办法:修正数值格式,重新执行。 GAUSS-03342:
选择表存储模型 GaussDB(DWS)支持行列混合存储。当创建一个表时,可以选择表的存储格式为行存储或列存储。 行存储是指将表按行存储到硬盘分区上,列存储是指将表按列存储到硬盘分区上。默认情况下,创建的表为行存储。行存储和列存储的差异请参见图1。 图1 行存储和列存储的差异 上图中
配置设置函数 配置设置函数是用于查询及修改运行时配置参数的函数。 current_setting(setting_name) 描述:当前的设置值。 返回值类型:text 备注:current_setting用于以查询形式获取setting_name的当前值。和SQL语句SHOW是等效的
配置设置函数 配置设置函数是用于查询及修改运行时配置参数的函数。 current_setting(setting_name) 描述:当前的设置值。 返回值类型:text 备注:current_setting用于以查询形式获取setting_name的当前值。和SQL语句SHOW是等效的
GAUSS-03491 -- GAUSS-03500 GAUSS-03491: "database is not accepting commands to avoid wraparound data loss in database with OID %u" SQLSTATE:
GaussDB(DWS)中“算子下盘”是什么含义? 用户业务查询执行过程中,当集群内存不足时,数据库可能会选择将临时结果暂存到磁盘。当临时结果的磁盘存储量超过一定值后,用户会收到告警“查询语句触发下盘量超阈值”,那这个告警中的“下盘量”或者经常数据库中经常出现的“算子下盘”如何理解呢
选择GaussDB(DWS)表存储模型 GaussDB(DWS)支持行列混合存储。当创建一个表时,可以选择表的存储格式为行存储或列存储。 行存储是指将表按行存储到硬盘分区上,列存储是指将表按列存储到硬盘分区上。默认情况下,创建的表为行存储。行存储和列存储的差异请参见图1。 图1 行存储和列存储的差异
使用场景 背景 目前在互联网、教育、游戏等行业都有实时精准营销的需求。通过系统生成用户画像,在营销时通过条件组合筛选用户,快速提取目标群体。例如: 在电商行业中,商家在进行营销活动前,需要根据活动的目的,圈选一批满足特定特征的目标用户群体进行广告推送。 在教育行业中,需要根据学生不同的特征