检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
能降低电商和物联网行业数据分区维护成本 场景介绍 对于分区列为时间的分区表,分区自动管理功能可以自动创建新分区和删除过期分区,降低分区表的维护成本,改善查询性能。为了便于查询和维护数据,用户通常使用分区列为时间的分区表来存储时间相关的数据,例如电商的订单信息、 物联网采集的实时数
不匹配正则表达式,大小写不敏感 'thomas' !~* '.*vadim.*' 匹配规则 与LIKE不同,正则表达式允许匹配串里的任何位置,除非该正则表达式显式地挂接在串的开头或者结尾。 除了上文提到的元字符外, POSIX正则表达式还支持下表的模式匹配元字符。 表3 模式匹配元字符 元字符 含义 ^
数据库、数据仓库、数据湖、湖仓一体分别是什么? 如今随着互联网以及物联网等技术的不断发展,越来越多的数据被生产出来,数据管理工具也得到了飞速的发展,大数据相关概念如雨后春笋一般应运而生,如数据库、数据仓库、数据湖、湖仓一体等。这些概念分别指的是什么,又有着怎样的联系,同时,对应的
数据开发 使用GaussDB(DWS)冷热数据切换功能降低业务成本 使用GaussDB(DWS)分区自动管理功能降低电商和物联网行业数据分区维护成本 使用GaussDB(DWS)视图重建功能实现视图解耦以提升开发效率 HStore表使用优秀实践 GIN索引使用实践 实现数据列的加解密
每个节点Bucket数目:#Nb RowGroup压缩前大小:#Nr 单个Bucket内存攒批最大大小:#Mb = max(partition_max_cache_size / partition_men_batch, 16M) = 16M(默认配置) 单并发攒批消耗: #Np * #Nb * #Nr
-------- Computer science (1 rows) 相比于一个表达式索引,单独列方法的一个优势是:不必在查询时显式指定分词器以便能使用索引。正如上面例子所示,查询可以依赖于default_text_search_config。另一个优势是搜索比较快速,因
系统表 存储数据库元信息的表,元信息包括数据库中的用户表、索引、列、函数和数据类型等。 下推 GaussDB(DWS)是分布式数据库,其可以利用多DN分布式并行执行查询计划,即将CN中的查询计划下发到各DN中并行执行。这种行为称为下推。与将数据抽取到CN上执行查询的方式相比,下推可以大幅提升查询性能。
选分布列,并对数据进行重分布。 倾斜表的危害:倾斜表可能引发算子计算/下盘倾斜严重,导致数据倾斜的DN处理压力过大,而无法发挥DWS的分布式计算的优势,影响业务性能,并且容易造成单DN磁盘满。 8.1.3版本开始默认建表为轮询表(参见轮询表RoundRobin),如果不熟悉分布键
objects 专属分布式存储池列表对象。 count Integer 专属分布式存储池数量。 表3 DssPool 参数 参数类型 描述 id String 专属分布式存储池ID。 name String 专属分布式存储池名称。 type String 专属分布式存储池的存储类型。 SSD:超高IO专属分布式存储池。
取值范围:10~100 ORIENTATION 决定了表的数据的存储方式。 取值范围: COLUMN:表的数据将以列式存储。 ROW(缺省值):表的数据将以行式存储。 ORC:表的数据将以ORC格式存储(仅HDFS表)。 orientation不支持修改。 COMPRESSION
本实践演示通过数据湖探索服务DLI Flink作业将分布式消息服务Kafka的消费数据实时同步至DWS数据仓库,实现Kafka实时入库到DWS的过程。 本实践预计时长90分钟,实践用到的云服务包括虚拟私有云VPC及子网、弹性负载均衡ELB、弹性云服务器ECS、对象存储服务OBS、分布式消息服务Kafka、数据湖探索DLI和数据仓库服务DWS
取值范围:10~100 默认值:100,即完全填充。 ORIENTATION 取值范围: COLUMN:表的数据将以列式存储。 ROW(缺省值):表的数据将以行式存储。 COMPRESSION 指定表数据的压缩级别,它决定了表数据的压缩比以及压缩时间。一般来讲,压缩级别越高,压缩
类型转换 【建议】在需要数据类型转换(不同数据类型进行比较或转换)时,使用强制类型转换,以防隐式类型转换结果与预期不符。 【建议】在查询中,对常量要显式指定数据类型,不要试图依赖任何隐式的数据类型转换。 【关注】在Oracle兼容模式下导入数据时,空字符串会自动转化为NULL。如
执行,实现万亿数据关联分析秒级响应。 内存计算,基于Bloom Filter的Hash Join优化,性能提升2~10倍。 支持全对称分布式的Active-Active多节点集群架构,系统无单点故障。 基于电信技术优化的大规模集群通信,提升计算节点间的传输效率。 基于代价的智能优
=200) TD enable_interval_to_text 控制interval到text类型的隐式转换功能。 设置此选项时,支持interval类型到text类型的隐式转换。 SELECT TO_DATE('20200923', 'yyyymmdd') - TO_DATE('20200920'
ONLY),缺省为只读外表。数据导入集群时,请将外表设为READ ONLY;导出时,请设为WRITE ONLY。 外表由命令执行者所有; OBS外表不需要显式指定分布方式,默认支持ROUNDROBIN分布方式; 所创建外表只对信息约束(Informational Constraint)约束生效。 OBS导入导出数据时,不支持中文路径。
PGXC_DEADLOCK PGXC_DEADLOCK视图获取导致分布式死锁产生的锁等待信息。 目前,PGXC_DEADLOCK视图只收集locktype为relation、partition、page、tuple和transactionid的锁等待信息。 表1 PGXC_DEADLOCK字段
设置成功后就不再支持修改。 取值范围: ROW,表示表的数据将以行式存储。 行存储适合于OLTP业务,此类型的表上交互事务比较多,一次交互会涉及表中的多个列,用行存查询效率较高。 COLUMN,表示表的数据将以列式存储。 列存储适合于数据仓库业务,此类型的表上会做大量的汇聚计算,且涉及的列操作较少。
获取GaussDB(DWS)集群连接地址 操作场景 GaussDB(DWS)支持不同方式连接集群,不同连接方式的连接地址也不同。支持查看并获取华为云平台环境的内网连接地址、互联网环境的公网连接地址和JDBC连接字符串。 获取集群连接地址有以下两种方式: 在连接客户端页面获取集群连接地址
数据类型转换 数据库中允许有些数据类型进行隐式类型转换(赋值、函数调用的参数等),有些数据类型间不允许进行隐式数据类型转换,可尝试使用GaussDB(DWS)提供的类型转换函数,例如CAST进行数据类型强转。 GaussDB(DWS)数据库常见的隐式类型转换,请参见表1。 GaussDB