检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
少DN之间的通信数据量。 对于Hash分表策略,如果分布列选择不当,可能导致数据倾斜,查询时出现部分DN的I/O短板,从而影响整体查询性能。因此在采用Hash分表策略之后需对表的数据进行数据倾斜性检查,以确保数据在各个DN上是均匀分布的。可以使用以下SQL检查数据倾斜性: 1 2
如何实现GaussDB(DWS)不同编码库之间数据容错导入 要实现从数据库A(UTF8编码)至数据库B(GBK编码)的数据导入,常规方法导入数据时会出现字符集编码不匹配的错误,导致数据无法导入。 针对小批量数据导入的场景,可以通过\COPY命令来完成,具体方法如下: 创建数据库A
数据脱敏 GaussDB(DWS)提供列级别的数据脱敏(Dynamic Data Masking)功能。针对某些敏感信息(如身份证号、手机号、银行卡号等),通过应用脱敏函数进行原始数据的变形改写,实现敏感隐私数据的可靠保护,从而增强产品在数据安全和隐私保护方面的能力。 了解更多请参见数据脱敏。
出现字段超长,数据同步失败 执行创建OBS外表的SQL语句时,提示Access Denied GDS导入失败后,磁盘占用空间增大 GDS导入数据时,脚本执行报错:out of memory 使用GDS传输数据的过程中,报错:connection failure error 使用DataArts
数据如何存储到GaussDB(DWS)? GaussDB(DWS)支持多数据源高效入库,典型的入库方式如下所示。详细指导请参见导入数据。 从OBS导入数据。 数据上传到OBS对象存储服务中,再从OBS中导入,支持CSV,TEXT格式数据。 通过INSERT语句直接插入数据。 用户
如何删除GaussDB(DWS)重复的表数据? 清理数据库脏数据时,可能会有多条重复数据只保留一条的场景,此场景可以使用聚合函数或窗口函数来实现。 构建表数据 创建表t_customer,向表中插入包含重复记录的数据: 1 2 3 4 5 6 7 8 9 10 11
数据迁移 GaussDB(DWS)的OBS外表与GDS外表支持的数据格式有什么区别? 数据如何存储到GaussDB(DWS)? GaussDB(DWS)可以存储多少业务数据? 如何使用GaussDB(DWS)的\copy导入导出? 如何实现GaussDB(DWS)不同编码库之间数据容错导入
如何调整GaussDB(DWS)分布列? 在数据仓库类型的数据库中,大表的分布列选择对于数据库和语句查询性能都有至关重要的影响。 如果表的分布列选择不当,在数据导入后有可能出现数据分布倾斜,进而导致某些磁盘的使用明显高于其他磁盘,极端情况下会导致集群只读。对于Hash分表策略,存
本节介绍REST API请求的组成,并以调用IAM服务的获取用户Token来说明如何调用API,该API获取用户的Token,Token可以用于调用其他API时鉴权。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987
GaussDB(DWS)支持通过GDS外表将TXT、CSV和FIXED格式的数据导入到集群进行查询。 在本教程中,您将: 生成本教程需要使用的CSV格式的数据源文件。 将数据源文件上传到数据服务器。 创建外表,用于对接GDS和GaussDB(DWS),将数据服务器上的数据导入到GaussDB(DWS)集群中。 启
数据库时间与系统时间不一致,如何更改数据库默认时区 问题现象 数据库时间与操作系统不一致,查询GaussDB(DWS)数据库默认时间SYSDATE,结果数据库时间比北京时间慢8个小时,导致无法准确定位到更新数据。 原因分析 GaussDB(DWS)数据库显示和解释时间类型数值时使
如何查看GaussDB(DWS)外部表信息? 如果需要查询OBS、GDS等外表信息(如OBS路径),可以执行以下语句查询。 1 SELECT * FROM pg_get_tabledef('外表名称') 例如,表名为traffic_data.GCJL_OBS,查询如下: 1 SELECT
如何调用API 构造请求 认证鉴权 返回结果
连接集群,用户需要在新建的安全组中添加一条入规则,开放GaussDB(DWS)集群的数据库端口的访问权限。 协议:TCP。 端口范围:8000。指定为创建GaussDB(DWS)集群时设置的数据库端口,这个端口是GaussDB(DWS)用于接收客户端连接的端口。 源地址:选中“I
数据仓库服务与华为云平台其他一系列服务已无缝集成,以便用户能够快速部署端到端的数据分析和解决方案。 端到端数据分析流程如下图所示,该流程展示了每个过程可以使用的云服务。 图2 端到端数据分析流程
如何使用GaussDB(DWS)的\copy导入导出? 由于云上GaussDB(DWS)是全托管服务,用户无法登录后台,无法使用copy进行导入导出文件,所以云上将copy语法禁掉。云上推荐将数据文件放到obs上,使用obs外表进行入库,如果需要使用copy导入导出数据,可以参考如下方法:
第二类工具,关注如何对湖中的数据进行分析、挖掘、利用。数据湖需要具备完善的数据管理能力、多样化的数据分析能力、全面的数据生命周期管理能力、安全的数据获取和数据发布能力。如果没有这些数据治理工具,元数据缺失,湖里的数据质量就没法保障,最终会由数据湖变质为数据沼泽。 随着大数据和AI的发展,
如何查看GaussDB(DWS)数据库用户的创建时间? 方式一: 在创建GaussDB(DWS)数据库用户时,如果指定了用户的生效时间(VALID BEGIN)与用户创建时间一致,且之后未修改过该用户生效时间的情况下,就可以使用视图PG_USER查看用户列表,并通过valbegi
如何创建GaussDB(DWS)数据库私有用户和私有表? 场景介绍 在业务场景中,普通用户创建的表,系统管理员dbadmin默认是有访问权限,并未完全私有。而在三权分立开启下的业务场景中,管理员dbadmin对普通用户的表没有访问权限,同时也没有控制权限(DROP、ALTER、TRUNCATE)。
如何创建GaussDB(DWS)数据库只读用户? 场景介绍 在业务开发场景中,数据库管理员通过SCHEMA来划分不同的业务,例如在金融行业中,负债业务属于SCHEMA s1,资产业务属于SCHEMA s2。 当前需要在数据库中创建一个只读用户user1,允许这个用户访问负债业务SCHEMA