检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表加载样例数据。 (可选)创建集群。 如果已经有可供使用的集群,则可跳过这一步。创建集群的操作,请按创建GaussDB(DWS)存算一体2.0集群中的步骤操作。 同时请参考连接GaussDB(DWS)集群方式介绍中的方法连接到集群并测试连接。 本实践所使用的是8节点集群。也可以使用4节点集群进行测试。
准备源数据 操作场景 通常在将数据导入数据库前,即将入库的数据已经在相关主机上了。这种保存着待入库数据的服务器为数据服务器。此时,只需检测以确认数据服务器和GaussDB(DWS)集群能够正常通信,并查看和记录数据在数据服务器上的存放目录备用。 如果待入库数据还没有就绪,则请先参考如下步骤,将数据上传到数据服务器上。
管理GaussDB(DWS)数据库连接 操作场景 数据库默认支持一定数量的连接,管理员用户可以通过管理数据库的连接,了解当前数据库的连接性能或增加连接限制,使更多用户或应用程序可以同时连接到数据库。 支持的连接数规格 集群支持的连接数与集群节点规格有关: 表1 支持连接数规格 参数
数据倾斜导致SQL执行慢,大表SQL执行无结果 问题现象 某场景下SQL执行慢,涉及大表的SQL执行不出来结果。 原因分析 GaussDB(DWS)支持Hash、REPLICATION和ROUNDROBIN(8.1.2集群及以上版本支持ROUNDROBIN)分布方式。如果创建了H
执行导入数据 完成GDS的安装部署及外表创建后,本节介绍如何在GaussDB(DWS)数据库中创建事实表并将数据导入事实表中。 对于记录数超过千万条的表,建议在执行全量数据导入前,先导入部分数据,以进行数据倾斜检查和调整分布列,避免导入大量数据后发现数据倾斜,调整成本高。 前提条件
靠的企业级数据仓库集群。 您只需单击几下鼠标,就可以轻松完成应用程序与数据仓库的连接、数据备份、数据恢复、数据仓库资源和性能监控等运维管理工作。 与大数据无缝集成 您可以使用标准SQL查询HDFS、对象存储服务(Object Storage Service,OBS)上的数据,数据无需搬迁。
GaussDB(DWS)数据库对象设计规则 GaussDB(DWS) Database和Schema设计规则 GaussDB(DWS)表设计规则 GaussDB(DWS)字段设计规则 GaussDB(DWS)约束设计规则 GaussDB(DWS)视图和关联表设计规则 父主题: GaussDB(DWS)开发设计规范
往GaussDB(DWS)写数据慢,客户端数据会有积压 问题现象 客户端往GaussDB(DWS)写入数据较慢,客户端数据会有积压。 原因分析 如果通过单条INSERT INTO语句的方式单并发写数据入库,客户端很可能会出现瓶颈。INSERT是最简单的一种数据写入方式,适合数据写入量不大,并发度不高的场景。
表数据膨胀导致SQL查询慢,用户前台页面数据加载不出 集群报错内存溢出 带自定义函数的语句不下推 列存表更新失败或多次更新后出现表膨胀 列存表多次插入后出现表膨胀 往GaussDB(DWS)写数据慢,客户端数据会有积压 分析查询效率异常降低的问题 未收集统计信息导致查询性能差 执行计划中有NestLoop导致SQL语句执行慢
膨胀严重,需要对用户表执行Vacuum/Vacuum Full。 仅8.1.3及以上集群版本支持。 处理方法 登录GaussDB(DWS) 管理控制台。 在集群列表中单击指定集群名称。 进入“集群详情”页面,切换至“智能运维”页签。 在运维详情部分切换至运维计划模块。单击“添加运维任务”按钮。
String 集群ID。获取方法,请参见获取集群ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 data_source_id 否 String 外部数据源ID。当数据源为MRS时为必选字段。获取方法,请参见查询数据源。 type 是 String 数据源类型,其中包含:
改,此时优化器会生成一个跨逻辑集群的查询或修改计划,保证用户关联的逻辑集群可以查询或修改表的数据。 图1 跨逻辑集群实现数据查询 图2 跨逻辑集群实现数据写入 操作步骤 参见创建DWS 3.0集群创建DWS 3.0集群,集群创建后默认会转换成逻辑集群v3_logical。 通过节
请参见MRS集群上的数据准备。 GaussDB(DWS)集群已创建MRS数据源连接。 具体操作请参见《数据仓库服务管理指南》的创建MRS数据源连接。 获取MRS数据源的HDFS路径 有两种方法可以查看: 方法一: 对于Hive数据,可以登录MRS的Hive客户端(参见2),执行以
a/MySQL等数据库生态,为各行业PB级海量大数据分析提供有竞争力的解决方案。 维护策略声明 GaussDB(DWS)集群资源属于数据仓库服务,GaussDB(DWS)提供基于该资源的全托管云服务能力,用户拥有对集群的完全控制权。默认情况下,云服务仅对客户集群提供相关监控、告警
security option %s. 解决方案:目前只支持PERMISSIVE或RESTRICIVE策略。 level: ERROR GS_212100035 错误码: RECHECK is no longer required. 解决方案:请更新您的数据类型。 level: NOTICE
数据类型 数字类型 日期和时间类型 字符串类型 空间数据类型 大对象类型 集合类型 布尔类型 二进制类型 JSON类型 父主题: MySQL语法迁移
大对象类型 概述 BLOB是一个二进制大对象,可以容纳可变数量的数据。这四个BLOB 类型是TINYBLOB,BLOB, MEDIUMBLOB和LONGBLOB。这些不同之处仅在于各自可以容纳的值的最大长度不同。DSC工具支持以下列出类型转换。 BLOB类型可以存储图片,列存储不支持BLOB。
如果您希望使用普通用户在自定义数据库中创建外表读取MRS数据,必须先在自定义数据库中手动创建一个外部服务器。本章节将为您介绍,如何使用普通用户在自定义数据库中创建外部服务器。步骤如下: 请确保GaussDB(DWS)集群已创建MRS数据源连接。 具体操作请参见《数据仓库服务管理指南》的创建MRS数据源连接。
cluster_id String 集群ID。 type String 数据源类型。其中包含: OBS数据源 MRS数据源 count Integer 总数。 表3 ExtDataSource 参数 参数类型 描述 id String 数据源配置ID。 name String 数据源名称。 type
数据库连接管理 执行gsql连接数据库命令提示gsql:command not found 通过gsql客户端无法连接数据库 连接GaussDB(DWS)数据库时,提示客户端连接数太多 无法ping通集群访问地址 业务执行中报错:An I/O error occurred while