检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
弹性伸缩 增加节点,即可扩展系统的数据存储能力和查询分析的性能,可支持PB级数据的存储和计算。 增强型ETL和实时BI分析 数据仓库在整个BI系统中起到了支柱的角色,更是海量数据收集、存储、分析的核心。
导入过程存储倾斜即时检测 导入过程中对DN导入行数进行统计,导入完成后计算倾斜率,超过一定阈值时,立即进行告警。倾斜率通过(DN导入行数最大值-DN导入行数最小值)/导入总行数计算。目前,只支持INSERT和COPY导入。
数据迁移 使用CDM迁移Oracle数据至GaussDB(DWS)集群 使用CDM迁移MySQL数据至GaussDB(DWS)集群 使用DLI Flink作业实时同步MySQL数据至(GaussDB)DWS集群 使用CDM迁移Hologres至GaussDB(DWS)集群 使用CDM
数据开发 使用GaussDB(DWS)冷热数据切换功能降低业务成本 使用GaussDB(DWS)分区自动管理功能降低电商和物联网行业数据分区维护成本 使用GaussDB(DWS)视图重建功能实现视图解耦以提升开发效率 HStore表使用优秀实践 GIN索引使用实践 实现数据列的加解密
导出数据 导出数据到OBS 导出ORC数据到MRS 使用GDS导出数据到远端服务器
其中“极速型SSD”、“极速型SSD V2”存储类型仅ECS+EVS形态支持。 选择恢复到单AZ集群。 选择恢复到多AZ集群。 多AZ恢复集群只支持8.2.0.100以上集群版本。 目前只支持存算一体集群。 当前region的可用分区数量>=3。
JSON类型 JSON数据类型可以用来存储JSON(JavaScript Object Notation)数据。
如果没有可选择的OBS桶,可以单击“创建OBS桶”进入OBS管理控制台创建新的OBS桶,具体操作请参见《对象存储服务控制台指南》中的创建桶章节。 路径:在OBS中存储脚本文件的自定义目录。多级目录可用“/”进行分隔。路径取值范围:1~50个字符。
解决方案:分析语句中数据类型是否超出范围,可考虑将类型转换为数值类型。 level: ERROR GS_216110197 错误码: %s is not a valid data directory. 解决方案:文件中未包含有效数据,可能需要初始化数据库。
支持数据文件格式:ORC。 导出文件命名规则 GaussDB(DWS)导出ORC数据的文件命名规则如下: 导出至MRS(HDFS):从DN节点导出数据时,以segment的格式存储在HDFS中,文件命名规则为“mpp_数据库名_模式名_表名称_节点名称_n.orc”。
由于在存储或者计算时,会将相同值的数据放到同一节点,因此当倾斜数据(大量数据的值相同)出现之后,即使增加节点,系统瓶颈仍然受限于倾斜节点的容量或者性能。 GaussDB(DWS)数据库针对数据倾斜问题给出了完整的解决方案,包括存储倾斜和计算倾斜两大问题,下面分别进行介绍。
规划导出数据 OBS导出数据准备:请参见规划导出数据完成OBS导出数据准备。 OBS导出支持的数据类型请参见表1。
由于在存储或者计算时,会将相同值的数据放到同一节点,因此当倾斜数据(大量数据的值相同)出现之后,即使增加节点,系统瓶颈仍然受限于倾斜节点的容量或者性能。 GaussDB(DWS)数据库针对数据倾斜问题给出了完整的解决方案,包括存储倾斜和计算倾斜两大问题,下面分别进行介绍。
数据库管理 关系型数据库包含一组表,这些表可以依照数据关系模型来操作。关系型数据库包含一组数据对象,用于存储、管理和访问数据对象,包括表、视图、索引、函数等。 创建数据库 在“对象浏览器”窗格中右键单击“数据库”组,选择“创建数据库”。
如果导入表存在索引,在数据导入过程中,将增量更新索引信息,影响数据导入性能。建议在执行数据导入前,先删除相关表的索引。在数据导入完成后,再重新创建索引。 操作步骤 在GaussDB(DWS)数据库中,创建目标表,用于存储从OBS导入的数据。
TRUNCATE TABLE通过释放存储表数据所用数据页来删除数据,并且只在事务日志中记录页的释放。 TRUNCATE,DELETE,DROP三者的差异如下: TRUNCATE TABLE,删除内容,释放空间,但不删除定义。
DELTAMERGE 只针对HDFS表,将HDFS表的delta table中的数据转移到主表存储上。
如果建表时没有指定分布列,数据会以下几种场景来存储: 场景一 若建表时包含主键/唯一约束,则选取HASH分布,分布列为主键/唯一约束对应的列。
GaussDB(DWS)函数和存储过程有什么区别? 函数和存储过程是数据库管理系统中常见的两种对象,它们在实现特定功能时具有相同点,也有不同点。了解它们的特点和适用场景,对于合理设计数据库结构和提高数据库性能具有重要意义。
当插入一条记录时,系统会根据分布列的值进行Hash运算后,将数据存储在对应的DN中。对于数据量比较大的表建议采取Hash分布策略。 Roundrobin方式:表的每一行被轮番地发送给各个DN,因此数据会被均匀地分布在各个DN中。