检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持数据文件格式:ORC。 导出文件命名规则 GaussDB(DWS)导出ORC数据的文件命名规则如下: 导出至MRS(HDFS):从DN节点导出数据时,以segment的格式存储在HDFS中,文件命名规则为“mpp_数据库名_模式名_表名称_节点名称_n.orc”。
如果没有可选择的OBS桶,可以单击“创建OBS桶”进入OBS管理控制台创建新的OBS桶,具体操作请参见《对象存储服务控制台指南》中的创建桶章节。 路径:在OBS中存储脚本文件的自定义目录。多级目录可用“/”进行分隔。路径取值范围:1~50个字符。
存储过程 商业规则和业务逻辑可以通过程序存储在GaussDB(DWS)中,这个程序就是存储过程。 存储过程是SQL,PL/SQL,Java语句的组合。存储过程使执行商业规则的代码可以从应用程序中移动到数据库。从而,代码存储一次能够被多个程序使用。
JSON类型 JSON数据类型可以用来存储JSON(JavaScript Object Notation)数据。
由于在存储或者计算时,会将相同值的数据放到同一节点,因此当倾斜数据(大量数据的值相同)出现之后,即使增加节点,系统瓶颈仍然受限于倾斜节点的容量或者性能。 GaussDB(DWS)数据库针对数据倾斜问题给出了完整的解决方案,包括存储倾斜和计算倾斜两大问题,下面分别进行介绍。
导入过程存储倾斜即时检测 导入过程中对DN导入行数进行统计,导入完成后计算倾斜率,超过一定阈值时,立即进行告警。倾斜率通过(DN导入行数最大值-DN导入行数最小值)/导入总行数计算。目前,只支持INSERT和COPY导入。
存储过程 存储过程 数据类型 数据类型转换 数组和record 声明语法 基本语句 动态语句 控制语句 其他语句 游标 高级包 调试
由于在存储或者计算时,会将相同值的数据放到同一节点,因此当倾斜数据(大量数据的值相同)出现之后,即使增加节点,系统瓶颈仍然受限于倾斜节点的容量或者性能。 GaussDB(DWS)数据库针对数据倾斜问题给出了完整的解决方案,包括存储倾斜和计算倾斜两大问题,下面分别进行介绍。
解决方案:分析语句中数据类型是否超出范围,可考虑将类型转换为数值类型。 level: ERROR GS_216110197 错误码: %s is not a valid data directory. 解决方案:文件中未包含有效数据,可能需要初始化数据库。
数据库管理 关系型数据库包含一组表,这些表可以依照数据关系模型来操作。关系型数据库包含一组数据对象,用于存储、管理和访问数据对象,包括表、视图、索引、函数等。 创建数据库 在“对象浏览器”窗格中右键单击“数据库”组,选择“创建数据库”。
TRUNCATE TABLE通过释放存储表数据所用数据页来删除数据,并且只在事务日志中记录页的释放。 TRUNCATE,DELETE,DROP三者的差异如下: TRUNCATE TABLE,删除内容,释放空间,但不删除定义。
规划导出数据 OBS导出数据准备:请参见规划导出数据完成OBS导出数据准备。 OBS导出支持的数据类型请参见表1。
当插入一条记录时,系统会根据分布列的值进行Hash运算后,将数据存储在对应的DN中。对于数据量比较大的表建议采取Hash分布策略。 Roundrobin方式:表的每一行被轮番地发送给各个DN,因此数据会被均匀地分布在各个DN中。
数据读取 单表查询 多表连接查询 WITH表达式 跨逻辑集群数据读写
准备源数据 操作场景 通常在将数据导入数据库前,即将入库的数据已经在相关主机上了。这种保存着待入库数据的服务器为数据服务器。此时,只需检测以确认数据服务器和GaussDB(DWS)集群能够正常通信,并查看和记录数据在数据服务器上的存放目录备用。
用户可以定义冷热管理表,将符合规则的冷数据切换至OBS上进行存储,可以按照分区自动进行冷热数据的判断和迁移。 冷热数据迁移 GaussDB(DWS)列存数据写入时,数据首先进入热分区进行存储,分区数据较多后,可通过手动或自动的方式,将符合冷数据规则的数据切换至OBS上进行存储。
用户利用HIVE将数据导出存储为ORC文件格式,使用GaussDB(DWS)通过只读外表对ORC文件内的数据进行查询分析,因此,需要在ORC文件格式支持的数据类型与GaussDB(DWS)自身支持数据类型间进行匹配,匹配状况如表1所示。
GaussDB(DWS)函数和存储过程有什么区别? 函数和存储过程是数据库管理系统中常见的两种对象,它们在实现特定功能时具有相同点,也有不同点。了解它们的特点和适用场景,对于合理设计数据库结构和提高数据库性能具有重要意义。
规划导出数据 MRS导出支持的数据类型请参见表2。
如果导入表存在索引,在数据导入过程中,将增量更新索引信息,影响数据导入性能。建议在执行数据导入前,先删除相关表的索引。在数据导入完成后,再重新创建索引。 操作步骤 在GaussDB(DWS)数据库中,创建目标表,用于存储从OBS导入的数据。