检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SSB测试数据 表1 SSB测试数据 序号 表名 行数 表大小 1 supplier 200000 - 2 customer 3000000 - 3 part 1400000 - 4 lineorder 60037902 - 5 lineorder_flat 60037902 -
GaussDB(DWS)数据脱敏 GaussDB(DWS)提供列级别的数据脱敏(Dynamic Data Masking)功能。针对某些敏感信息(如身份证号、手机号、银行卡号等),通过应用脱敏函数进行原始数据的变形改写,实现敏感隐私数据的可靠保护,从而增强产品在数据安全和隐私保护方面的能力。
管理表及表数据 创建表后,可对表及表数据进行查询、编辑、分析等。 查看数据 右键单击表,选择“查看数据”查看表数据。Data Studio显示“查看数据”页签,可在该页签查看表数据信息。 “查看数据”页签的工具栏菜单: 工具栏名称 说明 复制 用于从“查看数据”页签将数据复制。快捷键为Ctrl+C。
导出ORC数据到OBS 规划导出数据 创建外部服务器 创建外表 执行导出 父主题: 导出数据到OBS
导出ORC数据到MRS 导出ORC数据概述 规划导出数据 创建外部服务器 创建外表 执行导出 父主题: 导出数据
管理员无权修改INDEPENDENT角色的数据库口令,INDEPENDENT角色需管理好自身口令,口令丢失无法重置。 管理员属性用户不允许定义修改为INDEPENDENT属性。 操作步骤 使用系统管理员dbadmin连接DWS数据库。 执行以下SQL语句创建私有用户u1。 1
STDIN导入数据 这种方式适合数据写入量不太大, 并发度不太高的场景。 用户可以使用以下方式通过COPY FROM STDIN语句直接向GaussDB(DWS)写入数据。 通过键盘输入向GaussDB(DWS)写入数据。 通过JDBC驱动的CopyManager接口从文件或者数据库向G
连接GaussDB(DWS)数据库时,提示客户端连接数太多 问题现象 连接GaussDB(DWS) 数据库时报错,提示客户端连接数太多。 使用gsql等SQL客户端工具连接数据库时,出现如下报错信息: 1 FATAL: Already too many clients, acti
管理MRS数据源 MRS数据源使用概述 创建MRS数据源连接 更新MRS数据源配置 父主题: 管理数据源
(20 rows) 通过外表查询到数据后,用户可以将数据插入数据库的普通表。 导入数据后查询数据 也可以将MRS数据导入GaussDB(DWS)后,再查询数据。 在GaussDB(DWS)数据库中,创建导入数据的目标表,用于存储导入的数据。 该表的表结构必须与创建外表中创建的
重分布 集群重分布是集群扩容后的一项重要且耗时的任务,集群扩容前业务数据都集中分布在老节点上,扩容之后会新增空的可用节点,此时将老节点的数据均匀分布到新扩容节点的过程称为数据“重分布”,数据“重分布”后将大大提升业务响应速率。 默认情况下,在扩容之后将自动调起重分布任务,为了增强
导出所有数据库 GaussDB(DWS)支持使用gs_dumpall工具导出所有数据库的全量信息,包含集群中每个数据库信息和公共的全局对象信息。可根据需要自定义导出如下信息: 导出所有数据库全量信息,包含集群中每个数据库信息和公共的全局对象信息(包含角色和表空间信息)。 使用导出
/data2/script/tpch-kit/ 登录ECS,执行如下命令生成tpch 1000X数据,本示例分两个数据盘同步生成tpch 1000x数据。 Tpch 1000X数据文件总大小约1100GB,请确认ECS的磁盘空间足够。 进入/data1/script/tpch-kit/TPC-H_Tools_v3
数据膨胀磁盘空间不足,导致性能降低 问题现象 用户数据膨胀严重,磁盘空间不足,性能低。 原因分析 用户可在管控面执行全库Vacuum/Vacuum Full,以定期进行空间回收: 用户频繁创建、删除表,导致系统表膨胀严重,需要对系统表执行Vacuum。 用户频繁执行UPDATE、
在集群列表中单击指定集群的名称,进入“集群详情”页面。 在左侧导航栏,选择“数据源>MRS数据源”页签。 单击“创建MRS数据源连接”,填写配置参数。 图1 创建MRS数据源连接 表1 MRS连接公共参数说明 参数名 说明 数据源名称 对应GaussDB(DWS)数据库server名称,包含小写字母、数字或者下
对应关系及其它参数。“DWS表输出”控制对应的数据源只支持PostgreSQL。 保存转换任务,并启动任务。 查看运行结果,去目标数据表检查搬迁数据总数和明细数据是否与需要搬迁的数据一致。 父主题: 导入数据
的字符串,值可以是任意类型的JSON,对于重复的键,按最后一个键值对为准。 GaussDB(DWS)支持使用:json数据类型和jsonb数据类型存储JSON数据。其中: json对输入的字符串进行完整复制,使用时再去解析,所以它会保留输入的空格,重复键以及顺序等。 jsonb解
数据如何存储到GaussDB(DWS)? GaussDB(DWS)支持多数据源高效入库,典型的入库方式如下所示。详细指导请参见导入数据。 从OBS导入数据。 数据上传到OBS对象存储服务中,再从OBS中导入,支持CSV,TEXT格式数据。 通过INSERT语句直接插入数据。 用户
更新MRS数据源配置 操作场景 MRS的HDFS集群参数配置变更时,可能造成GaussDB(DWS)集群无法从HDFS集群导入数据。使用HDFS集群导入数据前,需要执行MRS数据源配置的更新操作。 前提条件 GaussDB(DWS)集群已创建MRS数据源连接。 对系统的影响 更新
适用Kafka实时入库。 使用CDM迁移数据到GaussDB(DWS) 数据库、NoSQL、文件系统、大数据平台 CDM提供同构/异构数据源之间批量数据迁移的功能,帮助用户实现从多种类型的数据源迁移数据到GaussDB(DWS)。CDM在迁移数据到GaussDB(DWS)时,采用的是COPY方式和GDS并行导入方式。