检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
proc_add_partition (relname regclass, boundaries_interval interval) 描述:用于给开启自动创建分区功能的表添加分区。 返回值类型:void 备注:该函数运行时,会在现有分区boundary的基础上,创建多个时间范围为boundaries
数据脱敏函数 数据脱敏函数提供一系列不同脱敏形式的函数接口,可以覆盖常见的脱敏场景。通常结合数据脱敏语法,与脱敏列绑定使用,不推荐直接作用在查询语句上。 mask_none(column_name) 描述:不作任何脱敏处理,仅内部测试用。 返回值类型:与入参column_name数据类型相同
proc_add_partition (relname regclass, boundaries_interval interval) 描述:用于给开启自动创建分区功能的表添加分区。 返回值类型:void 备注:该函数运行时,会在现有分区boundary的基础上,创建多个时间范围为boundaries
/data2/script/tpch-kit/ 登录ECS,执行如下命令生成tpch 1000X数据,本示例分两个数据盘同步生成tpch 1000x数据。 Tpch 1000X数据文件总大小约1100GB,请确认ECS的磁盘空间足够。 进入/data1/script/tpch-kit/TPC-H_Tools_v3
CREATE PUBLICATION 功能描述 向当前数据库添加一个新的发布,发布的名称必须与当前数据库中任何现有发布的名称不同。发布本质上是通过逻辑复制将一组表的数据变更进行复制。 注意事项 该语法仅8.2.0.100及以上集群版本支持。 如果既没有指定FOR TABLE,也没有指定FOR
管理表及表数据 创建表后,可对表及表数据进行查询、编辑、分析等。 查看数据 右键单击表,选择“查看数据”查看表数据。Data Studio显示“查看数据”页签,可在该页签查看表数据信息。 “查看数据”页签的工具栏菜单: 工具栏名称 说明 复制 用于从“查看数据”页签将数据复制。快捷键为Ctrl+C。
可能 如果数据库服务器要求使用,则可以使用SSL安全加密连接,但不验证数据库服务器的真实性。 prefer 可能 如果数据库支持,那么首选使用SSL安全加密连接,但不验证数据库服务器的真实性。 require 是 必须使用SSL安全连接,但是只做了数据加密,而并不验证数据库服务器的真实性。
发布区域:全部 从OBS导入数据 从GDS导入数据 从MRS导入数据 从CDM导入数据 适用gs_restore导入元数据 导出数据 DWS支持三种方式导出数据: • 使用OBS外表导出:通过OBS外表设置的导出模式、导出数据格式等信息来指定导出的数据文件,DWS推荐此方法。 •
) ; 为这些表加载样例数据。 OBS存储桶中提供了本次实践的样例数据。该存储桶向所有经过身份验证的云用户提供了读取权限。请按照下面的步骤加载这些样例数据: 为每个表创建对应的外表。 GaussDB(DWS)应用Postgres提供的外部数据封装器FDW(Foreign Data
前面的计划可以看到,这里对于非倾斜数据和倾斜数据做了分别处理。对于s表中的非倾斜数据,依旧按照原有的方案,根据数据的hash值进行重分布;而对于倾斜数据(即等于0的数据),则通过轮询发送的方式,均衡地发送到所有节点。通过这样的方式,解决了倾斜数据分布不均衡的问题。 同时,为了保证
查询数据库对象权限 功能介绍 该接口用于查询数据库对象权限。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/clusters/{cluster_id}/db-manager/authority 表1 路径参数 参数 是否必选 参数类型 描述 project_id
导出数据到OBS 关于OBS并行导出 导出CSV、TXT数据到OBS 导出ORC数据到OBS 父主题: 导出数据
/data2/script/tpch-kit/ 登录ECS,执行如下命令生成TPC-H 1000X数据,本示例分两个数据盘同步生成TPC-H 1000x数据。 TPC-H 1000X数据文件总大小约1100GB,请确认ECS的磁盘空间足够。 进入/data1/script/tpch-kit/TPC-H_Tools_v3
OBS上的数据准备 操作场景 使用SQL on OBS功能查询OBS数据之前: 已将ORC数据存储在OBS上。 例如,在使用Hive或Spark等组件时创建了ORC表,其表数据已经存储在OBS上的场景。 假设有2个ORC数据文件“product_info.0”和“product_info
前面的计划可以看到,这里对于非倾斜数据和倾斜数据做了分别处理。对于s表中的非倾斜数据,依旧按照原有的方案,根据数据的hash值进行重分布;而对于倾斜数据(即等于0的数据),则通过轮询发送的方式,均衡地发送到所有节点。通过这样的方式,解决了倾斜数据分布不均衡的问题。 同时,为了保证
管理数据源 管理MRS数据源 管理OBS数据源 管理LakeFormation数据源 父主题: 迁移业务数据至GaussDB(DWS)集群
支持的数据类型 目前大数据领域,主流文件格式为ORC。GaussDB(DWS)主要支持ORC文件格式。用户利用HIVE将数据导出存储为ORC文件格式,使用GaussDB(DWS)通过只读外表对ORC文件内的数据进行查询分析,因此,需要在ORC文件格式支持的数据类型与GaussDB
数据库管理 基于角色的权限管理(RBAC) 只读用户配置权限 SQL查询优秀实践 数据倾斜查询优秀实践 用户管理优秀实践 查看表和数据库的信息 数据库SEQUENCE优秀实践
理、用户权限管理和数据库审计等安全措施。 快照数据安全 GaussDB(DWS)的备份数据是以快照的形式存储在OBS上。OBS已通过中国数据中心联盟的可信云安全认证。OBS上的数据支持访问权限控制,密匙访问,数据加密。GaussDB(DWS)的快照数据仅用于数据的备份和恢复,无法
从MRS导入数据概述 MapReduce服务(MapReduce Service,简称MRS)是一个基于开源Hadoop生态环境而运行的大数据集群,对外提供大容量数据的存储和分析能力,可解决用户的数据存储和处理需求。具体信息可参考《MapReduce服务用户指南》。 用户可以将海