检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
了解更多请参见数据脱敏。 父主题: 数据保护技术
GaussDB(DWS)热数据存储和冷数据存储的区别? 热数据存储和冷数据存储最大的区别在于存储介质不同: 热数据存储是直接将频繁被查询或更新,对访问的响应时间要求很高的热数据存储在DN数据盘中。 冷数据存储将不更新,偶尔被查询,对访问的响应时间要求不高的冷数据存储在OBS中。
说明: 认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 db_port 是 Integer 集群数据库端口,取值范围为8000~30000,默认值:8000。
数据同步失败 执行创建OBS外表的SQL语句时,提示Access Denied GDS导入失败后,磁盘占用空间增大 GDS导入数据时,脚本执行报错:out of memory 使用GDS传输数据的过程中,报错:connection failure error 使用DataArts
数据湖的本质,是由“数据存储架构+数据处理工具”组成的解决方案。 数据存储架构:要有足够的扩展性和可靠性,可以存储海量的任意类型的数据,包括结构化、半结构化和非结构化数据。 数据处理工具,则分为两大类: 第一类工具,聚焦如何把数据“搬到”湖里。
并提供按月或按年预先支付OBS热数据存储费用的折扣套餐,适合计划长期使用DWS 3.0场景的客户。
为增强可靠性,每个节点都有一个副本,副本会占用一半的存储空间,选择容量时副本容量会自动翻倍存储。 数据仓库系统会备份数据,生成索引、临时缓存文件、运行日志等内容,并占用存储容量。每个节点实际存储的数据,大致为总存储容量的一半。 父主题: 数据迁移
数据迁移 GaussDB(DWS)的OBS外表与GDS外表支持的数据格式有什么区别? 数据如何存储到GaussDB(DWS)? GaussDB(DWS)可以存储多少业务数据? 如何使用GaussDB(DWS)的\copy导入导出?
方式二:通过依赖于云日志服务LTS的“集群日志管理”功能查看采集的审计数据库日志或进行日志下载,详细内容请参考查看集群日志。 方式三:数据库的审计日志默认存储于数据库中,连接集群后使用pg_query_audit函数进行查看。
存算一体(单机形态)规格,此时存算一体只支持单机部署,单机形态不提供高可用服务,因此存储成本可减半,单机模式服务可用性通过ECS自动重建实现,数据可靠性通过EVS多副本机制保证。单机形态性价比更高,建议用于轻量化业务,创建集群时可选择带有h1的节点规格,规格详情请参见表3。
可用分区(AZ,Availability Zone):一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。
表1 DWS规格 参数项 参数取值 区域 华北-北京4 可用区 可用区1 产品类型 标准数仓 节点规格 8xlarge | 32 vCPUs | 256GB 每节点可用存储 500GB 节点数 3 父主题: 创建弹性云服务器ECS和数据仓库GaussDB(DWS)
数据类型 数值类型 货币类型 布尔类型 字符类型 二进制类型 日期/时间类型 几何类型 数组类型 枚举类型 网络地址类型 位串类型 文本搜索类型 UUID类型 JSON类型 RoaringBitmap类型 HLL数据类型 对象标识符类型 伪类型 范围类型 复合类型 列存表支持的数据类型
为什么GaussDB(DWS)扩容后已使用存储容量比扩容前减少了很多? 原因分析 扩容前,如果您没有执行vacuum清理和回收存储空间,GaussDB(DWS)数据仓库中之前被删除的数据,可能没有释放占用的磁盘空间形成脏数据,导致磁盘浪费。
数据倾斜查询优秀实践 导入过程存储倾斜即时检测 快速定位查询存储倾斜的表 父主题: 数据库管理
注意事项 两个集群必须在同一个Region、一个AZ内且VPC网络互通。 创建的外表与其对应的远端表的列名和类型名要完全一致,且远端表的类型为行存表、列存表、哈希表或者复制表。 如果关联的表在另外一个集群是复制表或者存在数据倾斜,性能可能会很差。
OBS上,无需重分布,但是元数据和索引存储在本地,仍然需要进行重分布。
缺省时,即脱敏到原始数据结束位置。 返回值类型:与入参column_name数据类型相同。
数据保护技术 数据备份 透明加密 SSL传输加密 数据脱敏 使用函数进行加密 父主题: 安全
在数据库监控页面展示了数据库级别的实时资源消耗和历史趋势指标。 数据库资源消耗 您可以根据数据库名称选中指定的数据库查看其资源消耗情况,指标项详情请参见监控项列表。