正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
发布区域:全部 从OBS导入数据 从GDS导入数据 从MRS导入数据 从DRS导入数据 从CDM导入数据 适用gs_restore导入元数据 导出数据 DWS支持三种方式导出数据: • 使用OBS外表导出:通过OBS外表设置的导出模式、导出数据格式等信息来指定导出的数据文件,DWS推荐此方法。
表加载样例数据。 (可选)创建集群。 如果已经有可供使用的集群,则可跳过这一步。创建集群的操作,请按创建GaussDB(DWS)存算一体2.0集群中的步骤操作。 同时请参考连接GaussDB(DWS)集群方式介绍中的方法连接到集群并测试连接。 本实践所使用的是8节点集群。也可以使用4节点集群进行测试。
规划导出数据 OBS导出数据准备:请参见规划导出数据完成OBS导出数据准备。 OBS导出支持的数据类型请参见表2。 HDFS导出数据准备:HDFS导出准备即配置MRS,具体信息可参考《MapReduce服务用户指南》。 父主题: 导出ORC数据到OBS
数据脱敏 GaussDB(DWS)提供列级别的数据脱敏(Dynamic Data Masking)功能。针对某些敏感信息(如身份证号、手机号、银行卡号等),通过应用脱敏函数进行原始数据的变形改写,实现敏感隐私数据的可靠保护,从而增强产品在数据安全和隐私保护方面的能力。 创建表的数据脱敏策略
照记录的集群信息来创建新集群,然后从快照记录的数据中还原数据库信息。从快照恢复数据到新集群的详细步骤请参见恢复快照到新集群。 当选择将快照恢复到原集群时,GaussDB(DWS)会清除当前集群的数据,然后从快照记录的数据中将数据库信息还原到当前集群。从快照恢复数据到原集群的详细步骤请参见恢复快照到原集群。
表数据膨胀导致SQL查询慢,用户前台页面数据加载不出 集群报错内存溢出 带自定义函数的语句不下推 列存表更新失败或多次更新后出现表膨胀 列存表多次插入后出现表膨胀 往GaussDB(DWS)写数据慢,客户端数据会有积压 分析查询效率异常降低的问题 未收集统计信息导致查询性能差 执行计划中有NestLoop导致SQL语句执行慢
管理表及表数据 创建表后,可对表及表数据进行查询、编辑、分析等。 查看数据 右键单击表,选择“查看数据”查看表数据。Data Studio显示“查看数据”页签,可在该页签查看表数据信息。 “查看数据”页签的工具栏菜单: 工具栏名称 说明 复制 用于从“查看数据”页签将数据复制。快捷键为Ctrl+C。
使用pgcrypto加密数据 GaussDB(DWS)数据库自8.2.0集群版本开始内置加密解密模块pgcrypto。pgcrypto模块允许数据库用户以加密形式存储数据的某些列,为敏感数据增加了一层额外的保护。因此在没有加密密钥的情况下,任何人都无法读取以加密形式存储在GaussDB(DWS)数据库中的数据。
数据读取 单表查询 多表连接查询 WITH表达式 跨逻辑集群数据读写
息。 Data:对象的数据内容,OBS对于数据的内容是无感知的,即认为对象内的数据为无状态的二进制数据。 数据库普通表:数据库中的普通表,数据源文件中的数据最终并行导入到这些表中存储,包括行存表、列存表。 外表:用于识别数据源文件中的数据。外表中保存了数据源文件的位置、文件格式、编码格式、数据间的分隔符等信息。
在本示例中,将导入OBS数据到GaussDB(DWS)集群数据库中。云平台用户通过客户端或API、SDK等方式访问OBS时,需要通过AK/SK认证方式进行认证鉴权。因此,当您需要通过客户端或JDBC/ODBC应用程序等方式连接GaussDB(DWS)数据库访问OBS时,必须先获取访问密钥(AK和SK)。
使用pgcrypto加密数据 GaussDB(DWS)数据库自8.2.0集群版本开始内置加密解密模块pgcrypto。pgcrypto模块允许数据库用户以加密形式存储数据的某些列,为敏感数据增加了一层额外的保护。因此在没有加密密钥的情况下,任何人都无法读取以加密形式存储在GaussDB(DWS)数据库中的数据。
数据开发 使用GaussDB(DWS)冷热数据切换功能降低业务成本 使用GaussDB(DWS)分区自动管理功能降低电商和物联网行业数据分区维护成本 使用GaussDB(DWS)视图重建功能实现视图解耦以提升开发效率 GIN索引使用实践 实现数据列的加解密 通过视图管控数据权限
管理数据库安全 管理用户及权限 敏感数据管理
数据脱敏函数 数据脱敏函数提供一系列不同脱敏形式的函数接口,可以覆盖常见的脱敏场景。通常结合数据脱敏语法,与脱敏列绑定使用,不推荐直接作用在查询语句上。 mask_none(column_name) 描述:不作任何脱敏处理,仅内部测试用。 返回值类型:与入参column_name数据类型相同。
重分布 集群重分布是集群扩容后的一项重要且耗时的任务,集群扩容前业务数据都集中分布在老节点上,扩容之后会新增空的可用节点,此时将老节点的数据均匀分布到新扩容节点的过程称为数据“重分布”,数据“重分布”后将大大提升业务响应速率。 默认情况下,在扩容之后将自动调起重分布任务,为了增强
建表与数据导入 GDS方式导入 父主题: 测试方法
膨胀严重,需要对用户表执行Vacuum/Vacuum Full。 仅8.1.3及以上集群版本支持。 处理方法 登录GaussDB(DWS) 管理控制台。 在集群列表中单击指定集群名称。 进入“集群详情”页面,切换至“智能运维”页签。 在运维详情部分切换至运维计划模块。单击“添加运维任务”按钮。
迁移表全量数据 配置DWS数据源连接 配置Oracle数据源连接 表迁移 验证 父主题: 使用CDM迁移Oracle数据至GaussDB(DWS)集群
管理数据库安全 GaussDB(DWS)用户及权限管理 敏感数据管理