检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
测试方法 总体流程 创建弹性云服务器ECS和数据仓库GaussDB(DWS) 构建TPC-H&TPC-DS使用数据 建表与数据导入 执行查询与结果收集
TABLE (GDS导入导出) 创建HDFS或OBS外表(需手动创建Server) CREATE FOREIGN TABLE (SQL on OBS or Hadoop) 创建OBS外表(默认Server) CREATE FOREIGN TABLE (OBS导入导出) 修改GDS外表
指定二级分区的个数。该参数用于设置在导入阶段二级分区个数。在建表时进行设置,建表后不支持修改。不建议用户随意设置该默认值,可能会影响导入和查询的性能。 取值范围:1~1024 默认值:32 DELTAROW_THRESHOLD 指定HStore表导入时小于多少行(SUB_PARTITION_COUNT
组合索引,组合索引中distinct值多的列排在前面,索引个数不宜超过3个。 大量数据带索引导入会产生大量I/O,如果该表涉及大量数据导入,需严格控制索引个数,建议导入前先将索引删除,导入完成后再重新建索引。 对频繁做DML操作的表,业务中加入及时ANALYZE,主要场景: 表数据从无到有。
Retry不能保证执行成功。 扩容时不支持CN Retry。 数据导入约束: 不支持COPY FROM STDIN语句。 不支持gsql \copy from元命令。 不支持JDBC CopyManager copyIn导入数据。 CN Retry支持的错误类型列表和对应的错误码信息见表1,
GaussDB(DWS)数据库GUC参数 查看GUC参数 设置GUC参数 GUC使用说明 连接和认证 资源消耗 并行导入 预写式日志 双机复制 查询规划 错误报告和日志 运行时统计 资源管理 自动清理 客户端连接缺省设置 锁管理 版本和平台兼容性 容错性 连接池参数 集群事务 开发人员选项
【建议】在不使用ETL工具、数据入库实时性要求又比较高的情况下,建议在开发应用程序时,使用GaussDB(DWS)JDBC驱动的CopyManager接口进行微批量导入。 CopyManager的使用方法请参见CopyManager。 父主题: GaussDB(DWS)各对象设计详细规则
为每个表创建对应的外表。 GaussDB(DWS)应用Postgres提供的外部数据封装器FDW(Foreign Data Wrapper)进行数据并行导入。因此需要先创建FDW表,又称外表。限于篇幅,此处仅给出“store_sales”表对应的外表“obs_from_store_sales_
给调用者。GTM作为全局唯一的节点,势必成为性能的瓶颈,所以对于需要大量频繁产生序列号的操作,如使用Bulkload(批量快速导入数据)功能进行数据导入场景,是非常不推荐产生默认序列值的。比如,在下面所示的场景中, INSERT FROM SELECT语句的性能会非常慢。 1 2
be READ ONLY DEFERRABLE" SQLSTATE: 0A000 错误原因:不支持READ ONLY DEFERRABLE事务导入快照。 解决办法:请调整事务级别。 GAUSS-04076: "could not serialize access due to read/write
安全组规则保护,租户可以通过自定义安全组的功能, 配置安全域的访问规则,提供灵活的网络安全性配置。 外部应用软件访问数据仓库服务支持SSL网络安全协议。 支持数据从OBS导入的加密传输。 父主题: 产品咨询
GaussDB(DWS)数据库GUC参数 查看GUC参数 设置GUC参数 GUC使用说明 连接和认证 资源消耗 并行导入 预写式日志 双机复制 查询规划 错误报告和日志 运行时统计 资源管理 自动清理 客户端连接缺省设置 锁管理 版本和平台兼容性 容错性 连接池参数 集群事务 开发人员选项
包含分布键。分布键决定了数据在各个分区之间的分布情况,如果分布键很好地分布在各个分区中,则可以使查询性能变得更好。 分布列选择不当,在数据导入后有可能出现数据分布倾斜,进而导致某些磁盘的使用明显高于其他磁盘,极端情况下会导致集群只读。合理的选择分布键,对表查询的性能至关重要。此外
【建议】在不使用ETL工具、数据入库实时性要求又比较高的情况下,建议在开发应用程序时,使用GaussDB(DWS)JDBC驱动的CopyManager接口进行微批量导入。 CopyManager的使用方法请参见CopyManager。 父主题: GaussDB(DWS)各对象设计详细规则
Retry不能保证执行成功。 扩容时不支持CN Retry。 数据导入约束: 不支持COPY FROM STDIN语句。 不支持gsql \copy from元命令。 不支持JDBC CopyManager copyIn导入数据。 CN Retry支持的错误类型列表和对应的错误码信息见表1,
工具在导入时,系统允许用户选择需要导入的内容,甚至可以在导入之前对等待导入的内容进行排序。 主要功能 gs_dump可以创建四种不同的导出文件格式,通过[-F或者--format=]选项指定,具体如表1所示。 表1 导出文件格式 格式名称 -F的参数值 说明 建议 对应导入工具 纯文本格式
"improper relation name (too many dotted names): %s" SQLSTATE: 42601 错误原因:导入的表名称不合法。 解决办法:数据库系统中的表名称最为复杂的情况是catalogname.schemaname.relname,如果超过此情况,将不再支持。
给调用者。GTM作为全局唯一的节点,势必成为性能的瓶颈,所以对于需要大量频繁产生序列号的操作,如使用Bulkload(批量快速导入数据)功能进行数据导入场景,是非常不推荐产生默认序列值的。比如,在下面所示的场景中, INSERT FROM SELECT语句的性能会非常慢。 1 2
实现从多种类型的数据源迁移数据到GaussDB(DWS)。 CDM在迁移数据到GaussDB(DWS)时,采用的是COPY方式和GDS并行导入方式。 使用CDM迁移数据到GaussDB(DWS)的典型场景,请参见云数据迁移服务(简称CDM)的如下章节: 入门:该入门场景为使用CD
orientation=row, compression=no sequence在业务中的常见用法 sequence在业务中常被用作在导入时生成主键或唯一列,常见于数据迁移场景。不同的迁移工具或业务导入场景使用的入库方法不同,常见的方法主要可以分为copy和insert。对于sequence来讲,这两种场景在处理时略有差别。