检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
针对OBS进行设置,可以全局指定OBS桶,在这个桶下面创建一个文件目录后,脚本默认会保存到该OBS桶的文件夹下面,无需再选择。可以设置数据库和schema权限过滤,开启开关后,根据当前的数据库用户过滤数据库的create权限以及过滤schema的usage权限。可以设置表列名注释显示开关,开启后,select
示例1:将表reason的数据通过外表foreign_tpcds_reasons导出到数据文件中。 1 INSERT INTO foreign_tpcds_reasons SELECT * FROM tpcds.reason; 示例2:通过条件过滤(r_reason_sk =1),向数据文件中导出部分数据。
SSB数据生成 下载ssb工具包并编译。 git clone http://github.com/vadimtk/ssb-dbgen.git cd ssb-dbgen && make 生成数据。 文件生成路径最好符合安装和启动GDS中SSB所使用的路径,否则需要修改安装和启动GDS中GDS的启动路径。
更新MRS数据源配置 操作场景 MRS的HDFS集群参数配置变更时,可能造成GaussDB(DWS)集群无法从HDFS集群导入数据。使用HDFS集群导入数据前,需要执行MRS数据源配置的更新操作。 前提条件 GaussDB(DWS)集群已创建MRS数据源连接。 对系统的影响 更新
导出数据到OBS 关于OBS并行导出 导出CSV、TXT数据到OBS 导出ORC数据到OBS 父主题: 导出数据
数据脱敏函数 数据脱敏函数提供一系列不同脱敏形式的函数接口,可以覆盖常见的脱敏场景。通常结合数据脱敏语法,与脱敏列绑定使用,不推荐直接作用在查询语句上。 mask_none(column_name) 描述:不作任何脱敏处理,仅内部测试用。 返回值类型:与入参column_name数据类型相同
数据库管理 关系型数据库包含一组表,这些表可以依照数据关系模型来操作。关系型数据库包含一组数据对象,用于存储、管理和访问数据对象,包括表、视图、索引、函数等。 创建数据库 在“对象浏览器”窗格中右键单击“数据库”组,选择“创建数据库”。 弹出“创建数据库”对话框,提示您提供创建数据库所需信息。
数据类型迁移 概述 数据类型是数据的一个基本属性,用于区分不同类型的数据。不同的数据类型所占的存储空间不同,能够进行的操作也不相同。数据库中的数据存储在数据表中。数据表中的每一列都定义了数据类型,用户存储数据时,须遵从这些数据类型的属性,否则可能会出错。下表列出了SQL-Serv
前面的计划可以看到,这里对于非倾斜数据和倾斜数据做了分别处理。对于s表中的非倾斜数据,依旧按照原有的方案,根据数据的hash值进行重分布;而对于倾斜数据(即等于0的数据),则通过轮询发送的方式,均衡地发送到所有节点。通过这样的方式,解决了倾斜数据分布不均衡的问题。 同时,为了保证
查询数据库对象权限 功能介绍 该接口用于查询数据库对象权限。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/clusters/{cluster_id}/db-manager/authority 表1 路径参数 参数 是否必选 参数类型 描述 project_id
前面的计划可以看到,这里对于非倾斜数据和倾斜数据做了分别处理。对于s表中的非倾斜数据,依旧按照原有的方案,根据数据的hash值进行重分布;而对于倾斜数据(即等于0的数据),则通过轮询发送的方式,均衡地发送到所有节点。通过这样的方式,解决了倾斜数据分布不均衡的问题。 同时,为了保证
OBS上的数据准备 操作场景 使用SQL on OBS功能查询OBS数据之前: 已将ORC数据存储在OBS上。 例如,在使用Hive或Spark等组件时创建了ORC表,其表数据已经存储在OBS上的场景。 假设有2个ORC数据文件“product_info.0”和“product_info
(20 rows) 通过外表查询到数据后,用户可以将数据插入数据库的普通表。 导入数据后查询数据 也可以将MRS数据导入GaussDB(DWS)后,再查询数据。 在GaussDB(DWS)数据库中,创建导入数据的目标表,用于存储导入的数据。 该表的表结构必须与创建外表中创建的
管理数据源 管理MRS数据源 管理OBS数据源 管理LakeFormation数据源 父主题: 迁移业务数据至GaussDB(DWS)集群
/data2/script/tpch-kit/ 登录ECS,执行如下命令生成tpch 1000X数据,本示例分两个数据盘同步生成tpch 1000x数据。 Tpch 1000X数据文件总大小约1100GB,请确认ECS的磁盘空间足够。 进入/data1/script/tpch-kit/TPC-H_Tools_v3
数据库使用 如何调整GaussDB(DWS)分布列? 如何查看和设置GaussDB(DWS)数据库的字符集编码格式 如何处理GaussDB(DWS)建表时date类型字段自动转换为timestamp类型的问题? GaussDB(DWS)是否需要定时对常用的表做VACUUM FULL和ANALYZE操作?
连接GaussDB(DWS)数据库时,提示客户端连接数太多 问题现象 连接GaussDB(DWS) 数据库时报错,提示客户端连接数太多。 使用gsql等SQL客户端工具连接数据库时,出现如下报错信息: 1 FATAL: Already too many clients, acti
数据库管理 基于角色的权限管理(RBAC) 只读用户配置权限 SQL查询优秀实践 数据倾斜查询优秀实践 用户管理优秀实践 查看表和数据库的信息 数据库SEQUENCE优秀实践
支持的数据类型 目前大数据领域,主流文件格式为ORC。GaussDB(DWS)主要支持ORC文件格式。用户利用HIVE将数据导出存储为ORC文件格式,使用GaussDB(DWS)通过只读外表对ORC文件内的数据进行查询分析,因此,需要在ORC文件格式支持的数据类型与GaussDB
数据分析 使用GaussDB(DWS)秒级查询交通卡口通行车辆行驶路线 使用GaussDB(DWS)分析某公司供应链需求 使用GaussDB(DWS)分析零售业百货公司经营状况