检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据脱敏 GaussDB(DWS)提供列级别的数据脱敏(Dynamic Data Masking)功能。针对某些敏感信息(如身份证号、手机号、银行卡号等),通过应用脱敏函数进行原始数据的变形改写,实现敏感隐私数据的可靠保护,从而增强产品在数据安全和隐私保护方面的能力。 了解更多请参见数据脱敏。
导入导出 导入数据最佳实践 GDS实践指南 迁移OBS桶数据至GaussDB(DWS)集群 使用GDS从远端服务器上导入表数据到GaussDB(DWS)集群 从MRS Hive导入表数据到GaussDB(DWS)集群 使用EXTERNAL SCHEMA跨集群访问HiveMetaStore元数据
通过CDM将MySQL数据导入GaussDB(DWS)时出现字段超长,数据同步失败 问题现象 MySQL 5.x版本字段长度varchar(n),用CDM同步数据到GaussDB(DWS),同样设置长度为varchar(n) ,但是会出现字段超长,数据同步失败的问题。 原因分析 MySQL5
GDS导入数据时,脚本执行报错:out of memory 问题现象 在使用GDS导入数据时,脚本执行报错“out of memory”。 原因分析 使用copy命令或者导入数据时,源数据单行数据的大小超过1GB。 由于源文件中的格式符不成对出现,比如引号,文件格式异常导致系统识别的单行数据过大超过1GB。
目前仅支持对接EXTERNAL SCHEMA对应的Hive端数据库的表进行SELECT、INSERT和INSERT OVERWRITE操作,其余操作均不支持。 MRS端两种数据源对应格式支持的操作参见表1。 表1 MRS端两种数据源支持的操作 数据源 表类型 操作 TEXT CSV PARQUET
factory检查CA和数据库是否正确。 GaussDB(DWS)不支持“verify-full”模式。 选择“客户端SSL证书”和“客户端SSL密钥”,可使用安全连接从Data Studio中导出DDL和数据。 如果为“客户端SSL证书”和“客户端SSL密钥”选择了无效的文件,将导致导出失败。有关详情,请参见故障处理。
使用外表功能实现GaussDB(DWS)集群间数据迁移 大数据融合分析场景下,支持同一区域内的多套GaussDB(DWS)集群之间的数据互通互访,本实践将演示通过Foreign Table方式从远端DWS导入数据到本地端DWS。 本实践演示过程为:以gsql作为数据库客户端,gsql安装在ECS
导出所有查询结果。 选择“结果”页签。 单击 ,显示“导出结果集数据”窗口。 请参见导出表数据完成导出操作。 可在状态栏查看结果的导出状态。 Data Studio显示“数据导出成功”对话框。 单击“确定”。“消息”页签显示已完成操作的状态。 如果在导出结果时磁盘已满,则Data Studio
字符,但无法正确处理数据列中的换行符。 header 指定导出数据文件是否包含标题行,标题行一般用来描述表中每个字段的信息。 OBS导出数据时不支持该参数为true,使用缺省值false,不需要设置,表示导出的数据文件第一行不是标题行(即表头)。 在导入数据时,如果header选
字符,但无法正确处理数据列中的换行符。 header 指定导出数据文件是否包含标题行,标题行一般用来描述表中每个字段的信息。 OBS导出数据时不支持该参数为true,使用缺省值false,不需要设置,表示导出的数据文件第一行不是标题行(即表头)。 在导入数据时,如果header选
GDS导入失败后,磁盘占用空间增大 问题背景与现象 使用GDS导入数据失败,触发作业重跑。重新开始数据导入,完成导入作业后查看磁盘空间,发现磁盘占用空间比导入数据量大很多。 原因分析 在导入数据失败后,占用的磁盘空间没有释放。 解决办法 检测GDS导入作业的日志,查看是否有执行失败的现象。
图2 修改敏感操作 在“操作保护设置”页面中,选择“关闭”,单击“确定”后,关闭操作保护。 父主题: GaussDB(DWS)集群数据安全与加密
sed -i 's/\x00//g;' file 参数说明: -i表示在原文件直接替换。 s/表示替换。 /g表示全局替换。 父主题: 数据导入/导出
使用gs_dump和gs_dumpall命令导出元数据 概述 导出单个数据库 导出所有数据库 无权限角色导出数据 父主题: 元数据迁移
配至各数据源位置;若导出数据存储位置数量大于数据节点数量时,执行导出任务,数据将被平均分配给此位置列表中从前端开始等于数据节点数量的数据源位置下,剩余数据源位置仍会创建数据文件,但文件中不会有任何数据。 对于使用GDS从远端服务器并行导入时的只读外表,URL个数应小于DN个数,且
配至各数据源位置;若导出数据存储位置数量大于数据节点数量时,执行导出任务,数据将被平均分配给此位置列表中从前端开始等于数据节点数量的数据源位置下,剩余数据源位置仍会创建数据文件,但文件中不会有任何数据。 对于使用GDS从远端服务器并行导入时的只读外表,URL个数应小于DN个数,且
在创建GDS外表时,去除指定的分布信息,即去掉语句中显示指定的“DISTRIBUTE BY ROUNDROBIN”即可。 父主题: 数据导入/导出
示例:通过本地文件导入导出数据 在使用JAVA语言基于GaussDB(DWS)进行二次开发时,可以使用CopyManager接口,通过流方式,将数据库中的数据导出到本地文件或者将本地文件导入数据库中,文件格式支持CSV、TEXT等格式。 样例程序如下,执行时需要加载GaussDB(DWS)
GaussDB(DWS)支持通过GDS外表将TXT、CSV和FIXED格式的数据导入到集群进行查询。 在本教程中,您将: 生成本教程需要使用的CSV格式的数据源文件。 将数据源文件上传到数据服务器。 创建外表,用于对接GDS和GaussDB(DWS),将数据服务器上的数据导入到GaussDB(DWS)集群中。 启
配至各数据源位置;若导出数据存储位置数量大于数据节点数量时,执行导出任务,数据将被平均分配给此位置列表中从前端开始等于数据节点数量的数据源位置下,剩余数据源位置仍会创建数据文件,但文件中不会有任何数据。 对于使用GDS从远端服务器并行导入时的只读外表,URL个数应小于DN个数,且