检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户可以将海量业务数据,存储在MRS的分析集群,即使用Hive/Spark组件保存。Hive/Spark的数据文件则保存在HDFS中。GaussDB(DWS)支持在相同网络中,配置一个GaussDB(DWS)集群连接到一个MRS集群,然后将数据从HDFS中的文件读取到GaussDB(DWS)。
连接GaussDB(DWS)数据库时,提示客户端连接数太多 问题现象 连接GaussDB(DWS) 数据库时报错,提示客户端连接数太多。 使用gsql等SQL客户端工具连接数据库时,出现如下报错信息: 1 FATAL: Already too many clients, acti
操作场景 当数据导入发生错误时,请根据本文指引信息进行处理,错误表只能记录数据格式错误。 查询错误信息 数据导入过程中发生的错误,一般分为数据格式错误和非数据格式错误。 数据格式错误 在创建外表时,通过设置参数“LOG INTO error_table_name”,将数据导入过程中
操作场景 当数据导入发生错误时,请根据本文指引信息进行处理。 查询错误信息 数据导入过程中发生的错误,一般分为数据格式错误和非数据格式错误,错误表只能记录数据格式错误。 数据格式错误 在创建外表时,通过设置参数“LOG INTO error_table_name”,将数据导入过程中
QL Viewer”中未保存的数据进行定期备份。Data Studio会根据“首选项”设置对数据进行加密和保存。请参见表1来打开/关闭备份功能,定义数据保存间隔,并加密保存的数据。 “SQL终端”和“PL/SQL Viewer”中未保存的更改作为备份保存在DataStudio\U
创建数据仓库GaussDB(DWS) 参见“创建集群”章节创建GaussDB(DWS)数据仓库。创建成功后,记录集群的内网IP。 为确保ECS与GaussDB(DWS)网络互通,GaussDB(DWS)数据仓库需要与ECS在同一个区域,同一个虚拟私有云和子网下。 表1 DWS规格
上传数据到OBS 操作场景 从OBS导入数据到集群之前,需要提前准备数据源文件,并将数据源文件上传到OBS。如果您的数据文件已经在OBS上了,则只需完成上传数据到OBS中的2~3。 准备数据文件 准备需要上传到OBS的数据源文件。GaussDB(DWS)只支持CSV、TEXT、O
准备源数据 操作场景 通常在将数据导入数据库前,即将入库的数据已经在相关主机上了。这种保存着待入库数据的服务器为数据服务器。此时,只需检测以确认数据服务器和GaussDB(DWS)集群能够正常通信,并查看和记录数据在数据服务器上的存放目录备用。 如果待入库数据还没有就绪,则请先参考如下步骤,将数据上传到数据服务器上。
参数类型 描述 id String 数据源配置ID。 name String 数据源名称。 type String 数据源类型。 connect_info String 连接的数据库。 user_name String MRS数据源用户名,OBS数据源对应委托名称。 version String
数据类型 数值类型 货币类型 布尔类型 字符类型 二进制类型 日期/时间类型 几何类型 数组类型 枚举类型 网络地址类型 位串类型 文本搜索类型 UUID类型 JSON类型 RoaringBitmap类型 HLL数据类型 对象标识符类型 伪类型 范围类型 复合类型 列存表支持的数据类型
管理表及表数据 创建表后,可对表及表数据进行查询、编辑、分析等。 查看数据 右键单击表,选择“查看数据”查看表数据。Data Studio显示“查看数据”页签,可在该页签查看表数据信息。 “查看数据”页签的工具栏菜单: 工具栏名称 说明 复制 用于从“查看数据”页签将数据复制。快捷键为Ctrl+C。
该功能仅在维护模式(GUC参数xc_maintenance_mode为on时)下可用。该模式谨慎打开,一般供维护人员排查问题使用,一般用户不应使用该模式。 要想回滚一个预备事务,必须是最初发起事务的用户,或者是系统管理员。 事务功能由数据库自动维护,不应显式使用事务功能。 语法格式 1 ROLLBACK PREPARED
储空间,GaussDB(DWS)数据仓库中之前被删除的数据,可能没有释放占用的磁盘空间形成脏数据,导致磁盘浪费。 而在扩容时,系统会做一次重分布,集群扩容时新节点添加完成后,原节点存储的业务数据明显多于新节点,此时系统自动在所有节点重新分布保存数据。在开始做重分布时,系统会自动执
该功能仅在维护模式(GUC参数xc_maintenance_mode为on时)下可用。该模式谨慎打开,一般供维护人员排查问题使用,一般用户不应使用该模式。 要想回滚一个预备事务,必须是最初发起事务的用户,或者是系统管理员。 事务功能由数据库自动维护,不应显式使用事务功能。 语法格式 1 ROLLBACK PREPARED
该功能仅在维护模式(GUC参数xc_maintenance_mode为on时)下可用。该模式谨慎打开,一般供维护人员排查问题使用,一般用户不应使用该模式。 命令执行者必须是该事务的创建者或系统管理员,且创建和提交操作可以不在同一个会话中。 事务功能由数据库自动维护,不应显式使用事务功能。 语法格式 1 2 COMMIT
数据倾斜查询优秀实践 导入过程存储倾斜即时检测 快速定位查询存储倾斜的表 父主题: 数据库管理
DROP VIEW 功能描述 数据库中强制删除已有的视图。 注意事项 只有视图的所有者有权限执行DROP VIEW的命令,系统管理员默认拥有此权限。 DROP对象操作(如DATABASE、USER/ROLE、SCHEMA、TABLE、VIEW等对象)存在数据丢失风险,尤其含带CASC
range. 解决方案:分析语句中数据类型是否超出范围,可考虑将类型转换为数值类型。 level: ERROR GS_216110197 错误码: %s is not a valid data directory. 解决方案:文件中未包含有效数据,可能需要初始化数据库。 level: FATAL
) ; 为这些表加载样例数据。 OBS存储桶中提供了本次实践的样例数据。该存储桶向所有经过身份验证的云用户提供了读取权限。请按照下面的步骤加载这些样例数据: 为每个表创建对应的外表。 GaussDB(DWS)应用Postgres提供的外部数据封装器FDW(Foreign Data
SQL很慢? 数据库在使用一段时间后,随着业务的增加使得表数据增加,或者对表数据经常进行增、删、改之后,引发数据膨胀和统计信息不准造成性能下降。 建议对于频繁增、删、改的表,定期执行vacuum full和analyze操作。操作步骤如下: 默认每30000条数据收集100条做统