检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
建表与数据导入 GDS方式导入 父主题: 测试方法
数据脱敏 GaussDB(DWS)提供列级别的数据脱敏(Dynamic Data Masking)功能。针对某些敏感信息(如身份证号、手机号、银行卡号等),通过应用脱敏函数进行原始数据的变形改写,实现敏感隐私数据的可靠保护,从而增强产品在数据安全和隐私保护方面的能力。 了解更多请参见数据脱敏。
不同的数据库之间很难做到数据共享,数据之间的集成与分析也存在非常大的挑战。 为解决企业的数据集成与分析问题,数据仓库之父比尔·恩门于1990年提出数据仓库(Data Warehouse)。数据仓库主要功能是将OLTP经年累月所累积的大量数据,通过数据仓库特有的数据储存架构进行OL
出现字段超长,数据同步失败 执行创建OBS外表的SQL语句时,提示Access Denied GDS导入失败后,磁盘占用空间增大 GDS导入数据时,脚本执行报错:out of memory 使用GDS传输数据的过程中,报错:connection failure error 使用DataArts
已配置需要审计的审计项。各审计项及其开启办法,请参考设置数据库审计日志。 数据库正常运行,并且对数据库执行了一系列增、删、改、查操作,保证在查询时段内有审计结果产生。 数据库各个节点审计日志单独记录。 只有拥有AUDITADMIN属性的用户才可以查看审计记录。 设置数据库审计日志 登录GaussDB(DWS)管理控制台。
系统表和视图 导入/导出数据 从OBS导入数据到集群 并行导出数据到OBS 使用GDS从远端服务器导入数据 使用GDS导出数据到远端服务器 更多导入数据方式 性能调优 教程:调优表设计 优化查询性能 实际调优案例 10 数据分析实验室 数据分析实验室是华为云官方实验平台,一键创建实
数据迁移 GaussDB(DWS)的OBS外表与GDS外表支持的数据格式有什么区别? 数据如何存储到GaussDB(DWS)? GaussDB(DWS)可以存储多少业务数据? 如何使用GaussDB(DWS)的\copy导入导出? 如何实现GaussDB(DWS)不同编码库之间数据容错导入
导入数据最佳实践 从OBS并行导入数据 将导入数据拆分为多个文件 导入大数据量的数据时,通常需要较长的时间及耗费较多的计算资源。 从OBS上导入数据时,如下方法可以提升导入性能:将数据文件存储到OBS前,尽可能均匀地将文件切分成多个,文件的数量为DN的整数倍更适合。 在导入前后验证数据文件
建表与导入SSB数据 创建SSB目标表 连接DWS数据库后执行以下SQL语句。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
导入数据 从OBS并行导入数据 使用GDS从远端服务器导入数据 从MRS导入数据到集群 从GaussDB(DWS)集群导入数据到新集群 基于GDS的跨集群互联互通 使用开源Kettle导入数据 使用gsql元命令\COPY导入数据 使用COPY FROM STDIN导入数据
导出数据 导出数据到OBS 导出ORC数据到MRS 使用GDS导出数据到远端服务器
支持的数据类型 目前大数据领域,主流文件格式为ORC。GaussDB(DWS)主要支持ORC文件格式。用户利用HIVE将数据导出存储为ORC文件格式,使用GaussDB(DWS)通过只读外表对ORC文件内的数据进行查询分析,因此,需要在ORC文件格式支持的数据类型与GaussDB
数据类型 数值类型 货币类型 布尔类型 字符类型 二进制类型 日期/时间类型 几何类型 数组类型 枚举类型 网络地址类型 位串类型 文本搜索类型 UUID类型 JSON类型 RoaringBitmap类型 HLL数据类型 对象标识符类型 伪类型 范围类型 复合类型 列存表支持的数据类型
customer_address_ext用于接收数据服务器上的数据。 假设OBS数据服务器与集群网络连接正常,OBS数据服务器IP为xxx.xxx.x.xx,数据源文件格式为CSV,规划的并行导入与示例保持一致。 其中设置的导入信息如下所示: 由于OBS服务器上的数据源文件存放目录为“/input-data1/data/
GaussDB(DWS)集群数据安全与加密 开启GaussDB(DWS)数据库用户三权分立 使用KMS对GaussDB(DWS)集群进行加密 开启GaussDB(DWS)控制台敏感操作保护
计算子集群函数 pv_compute_pool_workload() 描述:返回计算子集群当前的负载状态。 返回类型:void 示例: SELECT * from pv_compute_pool_workload(); nodename | rpinuse | maxrp |
元数据迁移 使用gs_dump和gs_dumpall命令导出元数据 使用gs_restore导入数据
数据倾斜导致SQL执行慢,大表SQL执行无结果 问题现象 某场景下SQL执行慢,涉及大表的SQL执行不出来结果。 原因分析 GaussDB(DWS)支持Hash、REPLICATION和ROUNDROBIN(8.1.2集群及以上版本支持ROUNDROBIN)分布方式。如果创建了H
Windows IE 11及以上 其他软件要求 Data Studio的软件配置要求如下表所示。 表2 Data Studio软件要求 软件 规格 Java 推荐与操作系统位数对应的Open JDK 1.8版本。 GNU libc 显示DDL,导入DDL,导出DDL和数据操作只支持GN系统libc
计算子集群函数 pv_compute_pool_workload() 描述:返回计算子集群当前的负载状态。 返回类型:void 示例: 1 2 3 4 5 6 SELECT * from pv_compute_pool_workload(); nodename | rpinuse