检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
第一类工具,聚焦如何把数据“搬到”湖里。包括定义数据源、制定数据同步策略、移动数据、编制数据目录等。 第二类工具,关注如何对湖中的数据进行分析、挖掘、利用。数据湖需要具备完善的数据管理能力、多样化的数据分析能力、全面的数据生命周期管理能力、安全的数据获取和数据发布能力。如果没有这些数据治理工具,元
数据脱敏 GaussDB(DWS)提供列级别的数据脱敏(Dynamic Data Masking)功能。针对某些敏感信息(如身份证号、手机号、银行卡号等),通过应用脱敏函数进行原始数据的变形改写,实现敏感隐私数据的可靠保护,从而增强产品在数据安全和隐私保护方面的能力。 了解更多请参见数据脱敏。
GaussDB(DWS)各对象设计详细规则 GaussDB(DWS)数据库对象命名规则 GaussDB(DWS)数据库对象设计规则 GaussDB(DWS) SQL编写规则 GaussDB(DWS) JDBC配置规则 自定义GaussDB(DWS)外部函数(pgSQL/Java)使用规则
场景2:脏数据&数据清理 某业务SQL总执行时间2.519s,其中Scan占了2.516s,同时该表的扫描最终只扫描到0条符合条件数据,过滤了20480条数据,即总共扫描了20480+0条数据却消耗了2s+,扫描时间与扫描数据量严重不符,此现象可判断为由于脏数据多从而影响扫描和I/O效率。
了解更多常见问题、案例和解决方案 热门案例 数据库、数据仓库、数据湖、湖仓一体分别是什么? 为什么要使用云数据仓库服务GaussDB(DWS)? 无法连接数据仓库集群时怎么处理? 如何选择公有云DWS或者公有云RDS? 数据在数据仓库服务中是否安全? 如何清理与回收存储空间? 更多 数据库连接 通过gsql客户端无法连接数据库
GaussDB(DWS)数据库对象设计规则 GaussDB(DWS) Database和Schema设计规则 GaussDB(DWS)表设计规则 GaussDB(DWS)字段设计规则 GaussDB(DWS)约束设计规则 GaussDB(DWS)视图和关联表设计规则 父主题: G
出现字段超长,数据同步失败 执行创建OBS外表的SQL语句时,提示Access Denied GDS导入失败后,磁盘占用空间增大 GDS导入数据时,脚本执行报错:out of memory 使用GDS传输数据的过程中,报错:connection failure error 使用DataArts
获得资源池详细信息 功能介绍 该接口用于获得资源池详细信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/workload/queues/{queue_name} 表1 路径参数 参数 是否必选 参数类型
查询资源管理计划阶段详细信息 功能介绍 该接口用于查询资源管理计划阶段详细信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/workload/plans/{plan_id}/stages/{stage_id}
集群处于“只读”状态时,应立即停止写入任务,避免磁盘被写满造成数据丢失的风险。 使用客户端连接数据库,通过显示事务关闭只读,DROP/TRUNCATE TABLE清理无用数据,尽量将磁盘使用率清理至80%以下。 清理数据方式1: 1 2 3 START TRANSACTION READ
查询某个资源管理计划详细信息 功能介绍 该接口用于查询某个资源管理计划详细信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/workload/plans/{plan_id} 表1 路径参数 参数
降低内存的处理方案 如果当前集群内存负载较高,或出现“memory is temporary unavailable”内存报错,首先利用日志信息确定内存异常节点,然后连接到该节点查询pv_total_memory_detail视图确认当前是否还存在内存不足问题,可比较proces
GaussDB(DWS)数据库对象设计规则 GaussDB(DWS) Database和Schema设计规则 GaussDB(DWS)表设计规则 GaussDB(DWS)字段设计规则 GaussDB(DWS)约束设计规则 GaussDB(DWS)视图和关联表设计规则 父主题: G
GaussDB(DWS)各对象设计详细规则 GaussDB(DWS)数据库对象命名规则 GaussDB(DWS)数据库对象设计规则 GaussDB(DWS) JDBC配置规则 GaussDB(DWS) SQL编写规则 自定义GaussDB(DWS)外部函数(pgSQL/Java)使用规则
概述 数据集成围绕GaussDB(DWS),提供了简单易用的迁移能力及多种数据源到DWS的集成能力,降低用户数据源迁移和集成的复杂性,是一种高效易用的数据集成服务。目前数据源支持从Kafka、MySQL、Oracle和IoT源端迁移至GaussDB(DWS)目的端。 该特性仅8.2
【建议】避免使用双引号括起来的字符串来定义数据库对象名称,GaussDB(DWS)中使用双引号将数据库对象名称括起来时表示对大小写敏感。数据库对象名称大小写敏感会使定位问题难度增加。 【建议】数据库对象命名风格务必保持统一。 增量开发的业务系统或进行业务迁移的系统,建议遵守历史的命名风格。 数据库对象名称由字
【建议】避免使用双引号括起来的字符串来定义数据库对象名称,GaussDB(DWS)中使用双引号将数据库对象名称括起来时表示对大小写敏感。数据库对象名称大小写敏感会使定位问题难度增加。 【建议】数据库对象命名风格务必保持统一。 增量开发的业务系统或进行业务迁移的系统,建议遵守历史的命名风格。 数据库对象名称由字
高CPU系统性能调优方案 如果当前集群CPU负载较高,可参考如下步骤进行优化: 检查当前集群业务是否占用CPU过高。 登录GaussDB(DWS)管理控制台。 在“监控 > 告警”界面,单击右上角“集群选择”下拉框,选中告警集群,查看集群最近7天的告警信息,通过定位信息锁定触发告警的节点名称。
【建议】当多个表存在逻辑关系时,表示同一含义的字段应该使用相同的数据类型。 【建议】对于字符串数据,建议使用变长字符串数据类型,并指定最大长度。请务必确保指定的最大长度大于需要存储的最大字符数,避免超出最大长度时出现字符截断现象。除非明确知道数据类型为固定长度字符串,否则,不建议使用CHAR(n)、BPCHAR(n
GaussDB(DWS)是分布式架构。数据分布在各个DN上。总体上讲,良好的表设计需要遵循以下原则: 【关注】将表数据均匀分布在各个DN上。数据均匀分布,可以防止数据在部分DN上集中分布,从而导致因存储倾斜造成集群有效容量下降。通过选择合适的分布列,可以避免数据倾斜。 【关注】将表的扫描压