-
GDS导入失败后,磁盘占用空间增大 - 数据仓库服务 GaussDB(DWS)
GDS导入失败后,磁盘占用空间增大 问题背景与现象 使用GDS导入数据失败,触发作业重跑。重新开始数据导入,完成导入作业后查看磁盘空间,发现磁盘占用空间比导入数据量大很多。 原因分析 在导入数据失败后,占用的磁盘空间没有释放。 解决办法 检测GDS导入作业的日志,查看是否有执行失败的现象。
-
入门实践 - 数据仓库服务 GaussDB(DWS)
使用GDS从远端服务器导入数据 本教程旨在演示使用GDS(General Data Service)工具将远端服务器上的数据导入GaussDB(DWS)中的办法,帮助您学习如何通过GDS进行数据导入的方法。 GaussDB(DWS)支持通过GDS外表将TXT、CSV和FIXED格式的数据导入到集群进行查询。 导入远端DWS数据源
-
分布式环境的数据布局 - 数据仓库服务 GaussDB(DWS)
分布式环境的数据布局 技术背景 为了解决PB级海量数据的高性能查询和数据导入,DWS采用了两层数据布局机制来利用并发度提高性能:第一层,用户可在创建表时指定数据分布策略(Hash分布、复制分布),数据写入系统时根据对应的分布策略确定存储在哪一个节点上。第二层,节点内部数据进一步通过分区规则进行细分。
-
SQL on Anywhere - 数据仓库服务 GaussDB(DWS)
SQL on Anywhere 技术背景 当前用于大数据处理的引擎组件种类繁多,且各自提供了丰富的接口供用户使用。但对传统数据库用户来说,SQL语言依然是最熟悉和方便的一种接口。如果能在一个客户端中使用SQL语句操作不同的大数据组件,将极大提升使用各种大数据组件的效率。 DWS支持SQL
-
数据库对象命名 - 数据仓库服务 GaussDB(DWS)
增量开发的业务系统或进行业务迁移的系统,建议遵守历史的命名风格。 数据库对象名称由字母、数字和下划线组成,并且不能由数字开头。建议使用多个单词组成,以下划线分割。 数据库对象名称最好能够望文知意,尽量避免使用自定义缩写(可以使用通用的术语缩写进行命名)。例如,在命名中可以使用具有实际业务含义的英文
-
数据库对象命名 - 数据仓库服务 GaussDB(DWS)
增量开发的业务系统或进行业务迁移的系统,建议遵守历史的命名风格。 数据库对象名称由字母、数字和下划线组成,并且不能由数字开头。建议使用多个单词组成,以下划线分割。 数据库对象名称最好能够望文知意,尽量避免使用自定义缩写(可以使用通用的术语缩写进行命名)。例如,在命名中可以使用具有实际业务含义的英文
-
创建VPC - 数据仓库服务 GaussDB(DWS)
创建VPC 背景信息 在创建集群之前,您需要创建VPC,为GaussDB(DWS) 服务提供一个安全、隔离的网络环境。 如果用户已有VPC,可重复使用,不需多次创建。 关于创建VPC的详细信息可以参考《虚拟私有云用户指南》中的创建虚拟私有云和子网章节。 操作步骤 登录管理控制台。
-
漏斗和留存函数 - 数据仓库服务 GaussDB(DWS)
12:00:00+03', -3); 计算每个用户的漏斗情况。返回结果如下,其中level=0表示用户在窗口期内匹配最大事件深度为0,level=1表示用户在窗口期内匹配最大事件深度为1: SELECT user_id, windowFunnel( 0, 'default'
-
数据库、数据仓库、数据湖、湖仓一体分别是什么? - 数据仓库服务 GaussDB(DWS)
的持续发展,数据不断堆积,企业希望把生产经营中的所有相关数据都完整保存下来,进行有效管理与集中治理,挖掘和探索数据价值。 数据湖就是在这种背景下产生的。数据湖是一个集中存储各类结构化和非结构化数据的大型数据仓库,它可以存储来自多个数据源、多种数据类型的原始数据,数据无需经过结构化
-
gsql - 数据仓库服务 GaussDB(DWS)
gsql 技术背景 gsql是DWS提供在命令行下运行的数据库连接工具,可以通过此工具连接服务器并对其进行操作和维护,除了具备操作数据库的基本功能,gsql还提供了若干高级特性,便于用户使用。 功能描述 连接数据库:默认只支持从服务器本机连接,如果需要连接到远端的数据库,必须在服务端进行配置。
-
GAUSS-00871 -- GAUSS-00880 - 数据仓库服务 GaussDB(DWS)
against NON-PARTITIONED table" SQLSTATE: XX000 错误原因:NON-PARTITIONED表不能分割分区。 解决办法:建议更改此操作或者更改NON-PARTITIONED表为PARTITION表。 GAUSS-00880: "the current
-
GAUSS-04691 -- GAUSS-04700 - 数据仓库服务 GaussDB(DWS)
zhparser_extra_dicts '%s'" SQLSTATE: XX000 错误原因:用户自定义字典名称错误。 解决办法:修改自定义字典名称,多个字典用“,”分割。 GAUSS-04699: "incorrect extra dicts file name '%s' in zhparser_extra_dicts"
-
解析查询 - 数据仓库服务 GaussDB(DWS)
to_tsquery从querytext中创建一个tsquery,querytext必须由布尔运算符& (AND),| (OR)和! (NOT)分割的单个token组成。这些运算符可以用圆括弧分组。换句话说,to_tsquery输入必须遵循tsquery输入的通用规则,具体请参见文本搜
-
解析查询 - 数据仓库服务 GaussDB(DWS)
to_tsquery从querytext中创建一个tsquery,querytext必须由布尔运算符& (AND)、| (OR)和! (NOT)分割的单个token组成。这些运算符可以用圆括弧分组。也就是说,to_tsquery输入必须遵循tsquery输入的通用规则,具体请参见文本搜
-
数据并行导入 - 数据仓库服务 GaussDB(DWS)
个属性作为分区字段),每个数据节点内部的每个Hash的数据都将按照设定的分区规则做相同的分区处理。 启动数据导入后,GDS将指定的数据文件分割成固定大小的数据块。 每个数据节点并行的从GDS下载这些数据块。 各个数据节点并行的处理数据块,从中解析出一条数据元组,每一个元组根据分布
-
GAUSS-01971 -- GAUSS-01980 - 数据仓库服务 GaussDB(DWS)
format" SQLSTATE: XX000 错误原因:处理重建命令过程中,主机需要发送的文件太大,无法压缩。 解决办法:如果文件合法,则需要分割压缩。 GAUSS-01979: "base backup could not send data, aborting backup" SQLSTATE:
-
集群主备恢复 - 数据仓库服务 GaussDB(DWS)
集群主备恢复 背景说明 当集群状态为“非均衡”时会出现某些节点主实例增多,从而负载压力较大。这种情况下集群状态是正常的,但整体性能要低于均衡状态。可参考本章节进行集群主备恢复操作将集群状态切换为“可用”状态。 集群主备恢复仅8.1.1.202及以上集群版本支持。 集群主备恢复将会
-
在线扩容 - 数据仓库服务 GaussDB(DWS)
在线扩容 技术背景 随着客户业务的发展,现有系统在磁盘容量、性能等方面将逐步呈现瓶颈。DWS分布式数据库集群提供scale-out线性扩展能力,满足客户业务增长和利旧的诉求(将闲置的机器加入系统)。 技术原理 DWS采用Node Group技术,支持多表并行扩容,扩容速度高达400G/小时/新增节点。
-
DWS 3.0简介 - 数据仓库服务 GaussDB(DWS)
融合分析业务,一体化OLAP分析场景。主要应用于金融、政企、电商、能源等领域。 融合分析,离线一体化OLAP分析场景。针对互联网场景进行了深度优化。 产品优势 性价比高。 支持冷热数据分析,存储、计算弹性伸缩。 成本低,并发高。 支持存算分离,存储按需使用,计算快速伸缩,无限算力、无限容量等。
-
dws-client - 数据仓库服务 GaussDB(DWS)
的CSV格式,其中字段间以逗号分割,数据间以换行分割。使用jdbc copy api入库,该方式性能略低于DELIMITER方式,但比较稳定可靠。 DELIMITER:将数据字段使用copy api入库,其中字符间以0X1E分割,数据间以0X1F分割。该方式要求数据不包含分隔符,