检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行该操作会强制将DELTA表上的所有可见操作Merge到主表,然后建一张新的空Delta表, 期间持有该表的八级锁。 该操作的耗时长度与DELTA表上的数据量有关,务必打开HStore的清理线程,确保HStore表的及时清理。 示例: 1 SELECT hstore_full_merge('reason_select');
GDS/Copy 公共机制(选项参数、任务分配、压缩) 导入
负载管理 GS_261110006 错误码: The \priority\ of query_band action is invalid. 解决方案:优先级的有效值是Rush。 level: ERROR GS_261110007 错误码: The action %s of query_band
Tsearch GS_202040008 errmsg:thesaurus sample word "%s" is a stop word (rule %d). 解决方案:使用?来表示示例短语中的停止词。 level: ERROR 父主题: 其他
JSON GS_207110021 错误码: argument list must have even number of elements. 解决方案:%s的参数必须由交替的键和值组成。 level: ERROR GS_207110022 错误码: argument %d cannot
规划导出数据 操作场景 在OBS上规划导出数据存放的位置。 规划OBS存储位置和文件 导出数据需要指定数据在OBS中的存储路径(需指定到目录),导出的数据可以按CSV解析格式保存到文件中。系统还支持TEXT类型的解析格式,将数据导出保存便于导入不同的应用程序。 导出路径的目标目录中不能存在任何文件。
GaussDB(DWS) SQL开发规范 DDL操作规范 INSERT操作规范 UPDATE&DELETE操作规范 SELECT操作规范 父主题: GaussDB(DWS)开发设计规范
违反规则的影响: 内置的数据库编码、兼容模式不符合业务要求时,需要重新迁移数据。 所有业务均使用内置数据库,影响变更耗时。 方案建议: 根据实际业务需要,合理创建专用DATABASE并划分给业务使用。 规则2.2 创建DATABASE时必须选择正确的数据库编码 违反规则的影响: 选错数据库编码可
拥有处理传统TP场景的事务能力。 功能特点 支持海量数据离线处理和交互查询,数据规模大、复杂数据挖掘具有很好的性能优势。 支持海量数据高并发的更新操作入库以及高性能的查询效率。在数据规模大、入库并发高、查询要求高的场景下具有很好的性能优势。 SQL语法 SQL语法兼容性高,语法通用,易于使用。
准备源数据 操作场景 通常在将数据导入数据库前,即将入库的数据已经在相关主机上了。这种保存着待入库数据的服务器为数据服务器。此时,只需检测以确认数据服务器和GaussDB(DWS)集群能够正常通信,并查看和记录数据在数据服务器上的存放目录备用。 如果待入库数据还没有就绪,则请先参考如下步骤,将数据上传到数据服务器上。
参数说明:控制分区缓存的默认策略。该参数8.3.0及以上集群版本支持。 参数类型:USERSET 取值范围:枚举类型 cache_each_partition_as_possible表示尽可能的缓存插入的数据,插入时遇到不同分区的数据并不一定将数据刷入CU。 flush_when_swit
规划导出数据 OBS导出数据准备:请参见规划导出数据完成OBS导出数据准备。 OBS导出支持的数据类型请参见表1。 表1 ORC格式的只写外表与HIVE数据类型匹配关系 类型名称 GaussDB(DWS)内表支持类型(数据源表) GaussDB(DWS)只写外表对应的类型 HIVE建表类型
数据迁移 使用CDM迁移Oracle数据至GaussDB(DWS)集群 使用CDM迁移MySQL数据至GaussDB(DWS)集群 使用DLI Flink作业实时同步MySQL数据至(GaussDB)DWS集群 使用CDM迁移Hologres至GaussDB(DWS)集群 使用Kettle迁移AWS
原理说明:在A集群通过协同分析访问B集群数据时,A集群所有DN会与B集群CN建立连接和活跃会话。 违反规范的影响: B集群(远端集群)中CN压力过大,导致连接和活跃会话资源超限,访问异常。 方案建议: 应尽量使用外表单表访问并避免并发,避免多外表关联查询;无法避免并发场景时,并发数需根据A集群DN数及B集群常规
Hudi外表查询 Hudi外表可以直接查询数据,默认查询实时视图;也可以通过设置增量查询参数实现增量视图查询。 增量查询 针对hudi增量查询功能,可以通过设置增量查询参数实现增量查询。 1 2 3 4 SET hoodie.SCHEMA.FOREIGN_TABLE.consume
快速开始使用GaussDB(DWS)。 首先,按照《数据仓库服务快速入门》中的步骤快速部署集群、连接到数据库并尝试进行一些查询。 准备好构建数据库后,将数据加载到表中并编写查询内容以操作数据仓库中的数据后,可以回到《数据仓库服务数据库开发指南》。 了解GaussDB(DWS)数据仓库的内部架构。 如果您想
GaussDB(DWS)是分布式架构。数据分布在各个DN上。总体上讲,良好的表设计需要遵循以下原则: 【关注】将表数据均匀分布在各个DN上。数据均匀分布,可以防止数据在部分DN上集中分布,从而导致因存储倾斜造成集群有效容量下降。通过选择合适的分布列,可以避免数据倾斜。 【关注】将表的扫描压
VALUES (1210, 'necklace', 'jewels', 200); 简单查询 通过SELECT ... FROM ... 语句从数据库中获取结果。 1 2 3 4 5 6 7 8 9 10 11 SELECT category FROM newproducts;
规划导出数据 MRS导出支持的数据类型请参见表2。 表1 ORC格式的只写外表与HIVE数据类型匹配关系 类型名称 GaussDB(DWS)内表支持类型(数据源表) GaussDB(DWS)只写外表对应的类型 HIVE建表类型 1字节整数 TINYINT TINYINT(不推荐)
为增强可靠性,每个节点都有一个副本,副本会占用一半的存储空间,选择容量时副本容量会自动翻倍存储。 数据仓库系统会备份数据,生成索引、临时缓存文件、运行日志等内容,并占用存储容量。每个节点实际存储的数据,大致为总存储容量的一半。 父主题: 数据迁移