检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
时要求入库后的数据能及时查询,并对于查询的效率要求很高。 目前GaussDB(DWS)传统数仓已有的行存表或者列存表都无法同时满足实时入库和实时查询两个诉求。其中行存表实时入库能力强,支持高并发更新,但是磁盘占用高,查询效率低;列存表数据压缩率高,AP查询性能好,但是不能很好的支持并发更新,并发入库存在严重的锁冲突。
)主要支持ORC文件格式。用户利用HIVE将数据导出存储为ORC文件格式,使用GaussDB(DWS)通过只读外表对ORC文件内的数据进行查询分析,因此,需要在ORC文件格式支持的数据类型与GaussDB(DWS)自身支持数据类型间进行匹配,匹配状况如表1所示。同理,GaussD
al schema即可。 支持主要数据格式:ORC,Parquet。 融合查询 混合查询数据湖和仓内的任意数据。 查询一步到位输出到仓内/数据湖,无需额外数据中转拷贝。 极致查询性能 使用数仓高质量的查询计划和高效的执行引擎。 使用数仓的负载管理手段,精准控制。 实时写入 提供H
schema_test.t5((c1,c2)) 分区不剪枝。 分区表查询时,常会期望通过分区键上的约束条件进行分区剪枝,从而提升分区表查询性能,但有时候会因为约束条件书写不当,导致分区表没有剪枝,出现查询性能问题,具体请参见案例:改写SQL排除剪枝干扰。 SQL不下推。 对于
件来设计和配置ETL流程。支持多种数据源和目标,包括关系型数据库、文件、API、Hadoop等。Kettle提供了丰富的转换和清洗功能,可以对数据进行格式转换、数据过滤、数据合并、数据计算等操作。 它的主要功能如下: 无代码拖拽式构建数据管道。 多数据源对接。 数据管道可视化。·
内,动态创建、删除计算逻辑集群,实现计算资源动态伸缩。 通过手动添加定时增删计划创建的逻辑集群主要用于提供计算能力,关联用户后该用户的查询都会切换到该逻辑集群上,同时建表语句仍在原始的逻辑集群上。 一个用户仅支持绑定到一个计算逻辑集群上。 若删除逻辑集群时,该逻辑集群关联的用户有业务运行,可能会出现报错。
t02库里包括一张表persons_c。 查询数据库名。 1 show databases; 查询数据库编码。 1 2 use <databasename>; status; 图2 查询数据库编码1 图3 查询数据库编码2 查询库表。 1 2 use <databasename>;
在左侧导航栏选择“监控>节点监控”,切换至“磁盘”模块查看数据盘I/O使用率、磁盘I/O速率等信息。 如果磁盘I/O速率高,数据盘使用率持续上升,说明有业务在写入数据或存在复杂查询导致大量下盘,用户可结合自身业务情况进行判断。 单击左侧导航栏的“实时查询”按钮进入实时查询页面,查看当前进行的实时查询。 如果
指定冷热分区切换规则,仅冷热表支持。该参数需与cold_tablespace同时使用。 取值范围:"冷热切换策略名称:冷热切换的阈值",目前冷热切换的策略名称只支持LMT和HPN,LMT指按分区的最后更新时间切换,HPN指保留热分区的个数切换。 LMT:[day]:表示切换[day]
语句修改基础表上的行。如果UPDATE语句更改行后不再满足WHERE条件,更新后通过视图将无法查询到。类似地如果INSERT命令插入了不满足WHERE条件的数据,插入后通过视图将无法查询到。在视图上执行插入、更新或删除的用户必须在视图和表上具有相应的插入、更新或删除权限。 相关链接
{"a" : "a", "b" : "1", "a b c" : "1"} (1 row) to_json(anyelement) 描述:把参数转换为json。 返回类型:json 示例: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
0:设为0时,解码信息不包含commit时间戳。 1:设为1时,解码信息包含commit时间戳。 返回值类型:text, uint, text 备注:函数返回解码结果,每一条解码结果包含三列,对应上述返回值类型,分别表示LSN位置、xid和解码内容。 pg_logical_slot_get_changes('slot_name'
0:设为0时,解码信息不包含commit时间戳。 1:设为1时,解码信息包含commit时间戳。 返回值类型:text, uint, text 备注:函数返回解码结果,每一条解码结果包含三列,对应上述返回值类型,分别表示LSN位置、xid和解码内容。 pg_logical_slot_get_changes('slot_name'
检查当前集群业务是否占用CPU过高。 在监控面板的页面中选择“监控 > 实时查询”,选择“实时查询”,单击,选择“CPU时间(ms)”,查看CPU时间最长的查询信息。 图1 查看CPU时间信息 和业务侧确认后,选中需要终止的查询ID,单击“终止查询”。 图2 终止查询 进一步优化处理,可参见高CPU系统性能调优。
语句修改基础表上的行。如果UPDATE语句更改行后不再满足WHERE条件,更新后通过视图将无法查询到。类似地如果INSERT命令插入了不满足WHERE条件的数据,插入后通过视图将无法查询到。在视图上执行插入、更新或删除的用户必须在视图和表上具有相应的插入、更新或删除权限。 相关链接
数据的查询。目前外表不支持索引,所以采取使用Informational Constraint信息优化Plan,提高查询性能。 建立外表信息约束的约束条件: 只有用户保证表中的其中一列的非空值具有唯一性时才可以建立Informational Constraint,否则查询结果将与期望值不同。
处理错误表 操作场景 当数据导入发生错误时,请根据本文指引信息进行处理。 查询错误信息 数据导入过程中发生的错误,一般分为数据格式错误和非数据格式错误。 数据格式错误 在创建外表时,通过设置参数“LOG INTO error_table_name”,将数据导入过程中出现的数据格式
设置GDS管道文件导入/导出时所使用的文件容量。 取值范围:大于1K。 默认值:操作系统允许的最大值,可以通过命令 cat /proc/sys/fs/pipe-max-size 查看。 该参数只能在Linux内核版本不低于2.6.35的环境下使用。 示例 数据文件存放在“/data” 目录,IP为192
告警策略:为某个告警指标指定的触发条件,抑制条件,告警级别的组合称为告警策略。 告警指标:数据库集群的某个指标项,一般是一个时间序列数据,例如:节点CPU使用率,查询触发下盘量等。 告警规则分类: 默认规则:GaussDB(DWS)阈值告警模块的最佳实践。 自定义规则:用户可自由选择或组合监控指标形成个
关联操作。 不满足前两项中任一项时,创建脱敏策略会报错。不满足后两项中任一项时,可成功创建脱敏策略,但查询执行结果可能会出现不可预知的问题。 如果绑定的自定义脱敏函数被删除,查询会因为脱敏策略失效而执行报错。 父主题: 函数和操作符