检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作场景 当数据导入发生错误时,请根据本文指引信息进行处理,错误表只能记录数据格式错误。 查询错误信息 数据导入过程中发生的错误,一般分为数据格式错误和非数据格式错误。 数据格式错误 在创建外表时,通过设置参数“LOG INTO error_table_name”,将数据导入过程中
创建集群时指定的数据库管理员用户。当用户第一次连接集群时,需要使用初始数据库管理员用户及其密码连接到默认数据库。 端口 通过公网或者内网访问集群数据库的端口号,端口号在创建集群时指定。 默认数据库 创建集群时默认自动创建的数据库。当用户第一次连接集群时,需要连接到该默认数据库。 弹性负载均衡地址
在用户登录GaussDB(DWS)数据库时会对其进行身份验证。用户可以拥有数据库和数据库对象(例如表),并且可以向用户和角色授予对这些对象的权限以控制谁可以访问哪个对象。除管理员外,具有CREATEDB属性的用户可以创建数据库并授予对这些数据库的权限。 数据库用户类型 表1 数据库用户类型 用户类型
建表与导入TPC-DS数据 创建TPC-DS目标表 连接DWS数据库后执行以下SQL语句。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
构建TPC-H&TPC-DS使用数据 准备数据构建工具编译环境 TPC-H数据构建 TPC-DS数据构建 父主题: 测试方法
查询所有数据库用户/角色 功能介绍 该接口用于查询所有数据库用户/角色。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/clusters/{cluster_id}/db-manager/users 表1 路径参数 参数 是否必选 参数类型 描述
GaussDB(DWS)数据库安全管理 GaussDB(DWS)用户及权限管理 GaussDB(DWS)敏感数据管理
在数据库表中搜索文本 搜索表 创建GIN索引 索引使用约束 父主题: 全文检索
数据库系统参数调优 为了保证数据库尽可能高性能地运行,建议依据资源情况和业务实际进行数据库系统GUC参数的设置。本章节旨在介绍一些常用参数以及推荐配置,关于参数的详细设置方法请参考设置GUC参数。 数据库内存相关参数 表1 数据库内存相关参数 GUC参数 描述 建议 max_process_memory
导出操作语法: 执行数据导出语法: 1 INSERT INTO [foreign table 表名] SELECT * FROM [源表名]; 执行导出数据示例 示例1:将表product_info_output的数据通过外表product_info_output_ext导出到数据文件中。
当您通过GaussDB(DWS)管理控制台创建MRS数据源连接时,数据库管理员dbadmin会在默认数据库postgres中自动创建一个外部服务器。因此,如果使用数据库管理员dbadmin在默认数据库postgres中创建外表,需要通过GaussDB(DWS)提供的数据库客户端工具连接数据库。例如,使用gsql客户端的用户通过如下命令连接数据库:
数据库系统参数调优 为了保证数据库尽可能高性能地运行,建议依据资源情况和业务实际进行数据库系统GUC参数的设置。本章节旨在介绍一些常用参数以及推荐配置,关于参数的详细设置方法请参考设置GUC参数。 数据库内存相关参数 表1 数据库内存相关参数 GUC参数 描述 建议 max_process_memory
创建并下载访问密钥。 梳理待导入数据的格式信息,确定创建外表时使用的数据格式参数的值。需要收集的主要数据源格式信息如下: format:外表中数据源文件的格式。OBS外表导入支持CSV、TEXT格式。缺省值为TEXT。 header:指定导出数据文件是否包含标题行,header只能用于CSV格式的文件中。
DWS) 管理控制台,根据实际需要修改集群的数据库参数。 具体操作请参见“修改数据库参数”章节。 方式二:成功连接集群后,通过SQL命令的方式设置SUSET或USERSET类型的参数。 修改指定数据库,用户,会话级别的参数。 设置数据库级别的参数 1 ALTER DATABASE
导出操作语法 执行数据导出语法: 1 INSERT INTO [foreign table 表名] SELECT * FROM [源表名]; 执行导出数据示例 示例1:将表product_info_output的数据通过外表product_info_output_ext导出到数据文件中。
ANALYZE 检查数据倾斜性。 对于Hash分表策略,如果分布列选择不当,可能导致数据倾斜,查询时出现部分DN的I/O短板,从而影响整体查询性能。因此在采用Hash分表策略之后需对表的数据进行数据倾斜性检查,以确保数据在各个DN上是均匀分布的。可以使用以下SQL检查数据倾斜性 1 SELECT
使用CDM迁移MySQL数据至GaussDB(DWS)集群 本入门提供通过云数据迁移服务CDM将MySQL数据批量迁移到GaussDB(DWS)集群的指导。 本入门的基本内容如下所示: 迁移前数据检查 创建GaussDB(DWS)集群 创建CDM集群 创建连接 新建作业和迁移 迁移后数据一致性验证
“encoding”:外表中数据源文件的编码格式名称,缺省为utf8。对于OBS外表此参数为必选项。 DISTRIBUTE BY: 这个子句是必须的,对于OBS外表,当前只支持ROUNDROBIN分布方式。 表示外表在从数据源读取数据时,GaussDB(DWS)集群每一个节点随机读取一部分数据,并组成完整数据。
命令中的斜体部分请根据实际填写,如果数据分片存放至多个数据盘目录,需要启动对应目录数量的GDS。 如果TPC-H和TPC-DS数据同时测试,需要启动以上4个GDS,如果只测试TPC-DS或TPC-H数据,请根据后面的“#xxx”备注启动对应的GDS服务即可。 -d dir:保存有待导入数据的数据文件所在目录。
在用户登录GaussDB(DWS)数据库时会对其进行身份验证。用户可以拥有数据库和数据库对象(例如表),并且可以向用户和角色授予对这些对象的权限以控制谁可以访问哪个对象。除管理员外,具有CREATEDB属性的用户可以创建数据库并授予对这些数据库的权限。 数据库用户类型 表1 数据库用户类型 用户类型