检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据库加密简介 GaussDB(DWS)数据库加密 在GaussDB(DWS)中,您可以为集群启用数据库加密,以保护静态数据。当您为集群启用加密时,该集群及其快照的数据都会得到加密处理。您可以在创建集群时启用加密。加密是集群的一项可选且不可变的设置。要从未加密的集群更改为加密集群
透明加密 GaussDB(DWS)支持透明数据加密(Transparent Data Encryption简称TDE或透明加密),对数据文件进行实时加密和解密,保护用户数据隐私。 功能介绍 透明数据加密(TDE)是指加密GaussDB(DWS)的数据文件。 通常在数据库的安全防护
数据导入/导出 使用COPY FROM导入时报错“invalid byte sequence for encoding "UTF8": 0x00” GDS导入/导出类问题 创建GDS外表失败,提示不支持ROUNDROBIN 通过CDM将MySQL数据导入GaussDB(DWS)时出现字段超长,数据同步失败
31 PGP加密函数 GaussDB(DWS)的PGP加密函数遵循OpenPGP(RFC 4880)标准,包括对称密钥加密(私钥加密)和非对称密钥加密(公钥加密)。 加密后的PGP消息由两部分组成: 这个消息的会话密钥(加密过的对称密钥或者公钥)。 使用该会话密钥加密的数据。 对于对称密钥(也就是密码)加密:
轮转加密密钥 在创建集群时,如果您在“高级配置”中为集群启用了“加密数据库”的功能,在集群创建成功后,您可以为集群轮转加密密钥。当普通集群转为加密集群时,也可以为集群轮转加密密钥。每执行一次密钥轮转,就更新一次集群加密密钥(CEK)。执行密钥轮转时,集群仍处于“可用”状态。 为GaussDB(DWS)集群轮转加密密钥
使用函数进行加密 数据加密作为有效防止未授权访问和防护数据泄露的技术,在各种信息系统中广泛使用。作为信息系统的核心,GaussDB(DWS)数仓也提供数据加密功能,包括透明加密和使用SQL函数加密。 GaussDB(DWS)主要提供了哈希函数和对称密码算法来实现对数据列的加解密。
规划导出数据 操作场景 在OBS上规划导出数据存放的位置。 规划OBS存储位置和文件 导出数据需要指定数据在OBS中的存储路径(需指定到目录),导出的数据可以按CSV解析格式保存到文件中。系统还支持TEXT类型的解析格式,将数据导出保存便于导入不同的应用程序。 导出路径的目标目录中不能存在任何文件。
SM4(支持SM系列商密算法,兼容国际通用算法) 数据库加密功能一旦开启就无法关闭。 开启数据库加密功能后,用于加密GaussDB(DWS)数据库的KMS密钥在使用过程中不能被禁用、删除或冻结,否则会导致GaussDB(DWS)集群异常或数据库不可用。 开启数据库加密功能后创建的快照不支持使用openAPI做恢复。
SSL传输加密 GaussDB(DWS)支持SSL标准协议,SSL协议是安全性更高的协议标准,它们加入了数字签名和数字证书来实现客户端和服务器的双向身份验证,保证了通信双方更加安全的数据传输。为支持SSL连接方式,GaussDB(DWS)已经从CA认证中心申请到正式的服务器、客户
31 PGP加密函数 GaussDB(DWS)的PGP加密函数遵循OpenPGP(RFC 4880)标准,包括对称密钥加密(私钥加密)和非对称密钥加密(公钥加密)。 加密后的PGP消息由两部分组成: 这个消息的会话密钥(加密过的对称密钥或者公钥)。 使用该会话密钥加密的数据。 对于对称密钥(也就是密码)加密:
导出ORC数据概述 GaussDB(DWS)数据库支持通过HDFS外表导出ORC格式数据至MRS,通过外表设置的导出模式、导出数据格式等信息来指定导出的数据文件,利用多DN并行的方式,将数据从GaussDB(DWS)数据库导出到外部,存放在HDFS文件系统上,从而提高整体导出性能。
导出数据 导出数据到OBS 导出ORC数据到MRS 使用GDS导出数据到远端服务器
规划导出数据 OBS导出数据准备:请参见规划导出数据完成OBS导出数据准备。 OBS导出支持的数据类型请参见表1。 表1 ORC格式的只写外表与HIVE数据类型匹配关系 类型名称 GaussDB(DWS)内表支持类型(数据源表) GaussDB(DWS)只写外表对应的类型 HIVE建表类型
规划导出数据 MRS导出支持的数据类型请参见表2。 表1 ORC格式的只写外表与HIVE数据类型匹配关系 类型名称 GaussDB(DWS)内表支持类型(数据源表) GaussDB(DWS)只写外表对应的类型 HIVE建表类型 1字节整数 TINYINT TINYINT(不推荐)
规划导出数据 操作场景 使用GDS从集群导出到数据之前,要提前准备需要导出的数据,并规划导出的路径。 规划导出路径 Remote模式 以root用户登录GDS数据服务器,创建导出的数据文件存放目录“/output_data”。 1 mkdir -p /output_data (
product_price>500),向数据文件中导出部分数据。 1 INSERT INTO product_info_output_ext SELECT * FROM product_info_output WHERE product_price>500; 在需要执行多次数据导出时,导出数据的存放路径必须为空,否则将导出失败。
非ASCII数据,那么使用SQL_ASCII设置都是不明智的,因为PG将无法帮助你转换或者校验非ASCII字符。 数据库系统支持某种编码,主要涉及三个方面:数据库服务器支持,数据访问接口支持以及客户端工具支持。 数据库服务器字符编码 数据库服务器支持某种编码,是指数据库服务器能够
执行导出数据 前提条件 需要确保每一个CN和DN所在服务器到GDS服务器的IP和端口是互通的。 导出操作语法 执行数据导出语法: 1 INSERT INTO [foreign table 表名] SELECT * FROM [源表名]; 编写批处理任务脚本,实现并发批量导出数据
执行导出 导出操作语法 执行数据导出语法: 1 INSERT INTO [foreign table 表名] SELECT * FROM [源表名]; 执行导出数据示例 示例1:将表product_info_output的数据通过外表product_info_output_ext导出到数据文件中。
OBS外表在设计上禁止往非空的路径下导出文件,但是在并发场景下会出现同一路径导出文件的情况,此时会发生异常。 异常场景:假如用户使用同一张表的数据并发导出到同一个OBS的外表,在一条SQL语句执行在OBS服务器上没有生成文件时,另一条SQL语句也执行导出,最终执行结果为两条SQL语句均执行成功,产生数据覆盖现