检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行导入数据 完成GDS的安装部署及外表创建后,本节介绍如何在GaussDB(DWS)数据库中创建事实表并将数据导入事实表中。 对于记录数超过千万条的表,建议在执行全量数据导入前,先导入部分数据,以进行数据倾斜检查和调整分布列,避免导入大量数据后发现数据倾斜,调整成本高。 前提条件
针对OBS进行设置,可以全局指定OBS桶,在这个桶下面创建一个文件目录后,脚本默认会保存到该OBS桶的文件夹下面,无需再选择。可以设置数据库和schema权限过滤,开启开关后,根据当前的数据库用户过滤数据库的create权限以及过滤schema的usage权限。 确认无误后,单击“确认”。 父主题: 使用SQ
数据库管理 关系型数据库包含一组表,这些表可以依照数据关系模型来操作。关系型数据库包含一组数据对象,用于存储、管理和访问数据对象,包括表、视图、索引、函数等。 创建数据库 在“对象浏览器”窗格中右键单击“数据库”组,选择“创建数据库”。 弹出“创建数据库”对话框,提示您提供创建数据库所需信息。
GaussDB(DWS)数据库对象设计规则 GaussDB(DWS) Database和Schema设计规则 GaussDB(DWS)表设计规则 GaussDB(DWS)字段设计规则 GaussDB(DWS)约束设计规则 GaussDB(DWS)视图和关联表设计规则 父主题: G
认证鉴权 调用接口支持使用Token认证。 Token认证 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。 Token的有效期为24小时,需
查看数据倾斜状态 操作场景 数据倾斜会造成查询表性能下降。对于记录数超过千万条的表,建议在执行全量数据导入前,先导入部分数据,以进行数据倾斜检查和调整分布列,避免导入大量数据后发现数据倾斜,调整成本高。 背景信息 GaussDB(DWS)是采用Shared-nothing架构的MPP(Massive
示例1:将表reason的数据通过外表foreign_tpcds_reasons导出到数据文件中。 1 INSERT INTO foreign_tpcds_reasons SELECT * FROM tpcds.reason; 示例2:通过条件过滤(r_reason_sk =1),向数据文件中导出部分数据。
data_source_id 否 String 外部数据源ID。当数据源为MRS时为必选字段。获取方法,请参见查询数据源。 type 是 String 数据源类型,其中包含: OBS MRS data_source_name 是 String 数据源名称。仅可包含大小写字母,数字,下划线,1到64个字符。
0 (8 rows) 插入数据不满足hll数据结构要求时报错场景 当用户给hll类型的字段插入数据的时候,必须保证插入的数据满足hll数据结构要求,如果解析后不满足就会报错。 例如: 插入数据'E\\1234'时,该数据不满足hll数据结构,不能解析成功因此失败报错。 1
EXISTS将所有CN和DN的表定义补齐。 如果表没有用,就在CN上DROP table删掉所有CN和DN的表定义,如果表还有用,继续使用即可。 父主题: 数据库使用
GaussDB(DWS)用户和角色是什么关系? 用户和角色在整个集群范围内是共享的,但是其数据并不共享。即用户可以连接任何数据库,但当连接成功后,任何用户都只能访问连接请求里声明的那个数据库。 角色(ROLE)本质上是一组权限的集合,通常情况下使用ROLE来组织权限,使用用户进行权限的管理和业务操作。
String 委托名称。获取方法,请参见查询数据源。 响应参数 表4 响应参数 参数 参数类型 描述 job_id String 更新数据源的任务ID。 请求示例 修改ID为“d303f19c-fbd1-4716-ae04-07d1ff358f22”数据源的委托名称为“DWSAccessOBS”:
管理数据源 管理MRS数据源 管理OBS数据源 管理LakeFormation数据源 父主题: 迁移业务数据至GaussDB(DWS)集群
数据脱敏函数 数据脱敏函数提供一系列不同脱敏形式的函数接口,可以覆盖常见的脱敏场景。通常结合数据脱敏语法,与脱敏列绑定使用,不推荐直接作用在查询语句上。 mask_none(column_name) 描述:不作任何脱敏处理,仅内部测试用。 返回值类型:与入参column_name数据类型相同
参数类型 描述 id String 数据源配置ID。 name String 数据源名称。 type String 数据源类型。 connect_info String 连接的数据库。 user_name String MRS数据源用户名,OBS数据源对应委托名称。 version String
支持的数据类型 目前大数据领域,主流文件格式为ORC。GaussDB(DWS)主要支持ORC文件格式。用户利用HIVE将数据导出存储为ORC文件格式,使用GaussDB(DWS)通过只读外表对ORC文件内的数据进行查询分析,因此,需要在ORC文件格式支持的数据类型与GaussDB
数据库管理 基于角色的权限管理(RBAC) 只读用户配置权限 SQL查询优秀实践 数据倾斜查询优秀实践 用户管理优秀实践 查看表和数据库的信息 数据库SEQUENCE优秀实践
导出数据到OBS 关于OBS并行导出 导出CSV、TXT数据到OBS 导出ORC数据到OBS 父主题: 导出数据
OBS上的数据准备 操作场景 使用SQL on OBS功能查询OBS数据之前: 已将ORC数据存储在OBS上。 例如,在使用Hive或Spark等组件时创建了ORC表,其表数据已经存储在OBS上的场景。 假设有2个ORC数据文件“product_info.0”和“product_info
从MRS导入数据概述 MapReduce服务(MapReduce Service,简称MRS)是一个基于开源Hadoop生态环境而运行的大数据集群,对外提供大容量数据的存储和分析能力,可解决用户的数据存储和处理需求。具体信息可参考《MapReduce服务用户指南》。 用户可以将海