检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
TPC-DS测试过程 TPC-DS测试数据 TPC-DS数据生成 建表与导入TPC-DS数据 TPC-DS查询测试 父主题: TPC-DS性能测试
TPC-DS测试数据 表1 TPC-DS测试数据 序号 表名 行数 表大小 1 customer_address 6,000,000 126MB 2 customer_demographics 1,920,800 11MB 3 date_dim 73,049 11MB 4 warehouse
SSB测试数据 表1 SSB测试数据 序号 表名 行数 表大小 1 supplier 200000 - 2 customer 3000000 - 3 part 1400000 - 4 lineorder 60037902 - 5 lineorder_flat 60037902 -
导入导出 导入数据最佳实践 GDS实践指南 迁移OBS桶数据至GaussDB(DWS)集群 使用GDS从远端服务器上导入表数据到GaussDB(DWS)集群 从MRS Hive导入表数据到GaussDB(DWS)集群 使用EXTERNAL SCHEMA跨集群访问HiveMetaStore元数据
使用CDM迁移Oracle数据至GaussDB(DWS)集群 迁移流程 准备工具 迁移表定义 迁移表全量数据 迁移业务SQL 父主题: 数据迁移
性能调优 基于表结构设计和调优提升GaussDB(DWS)查询性能 分析正在执行的SQL以处理GaussDB(DWS)业务阻塞
产品咨询 为什么要使用云数据仓库服务DWS ? 如何选择公有云DWS或者公有云RDS? DWS用户和角色是什么关系? 如何查看DWS数据库用户的创建时间? 如何选择DWS区域和可用分区 数据在DWS中是否安全? 可以修改DWS集群的安全组吗? 数据库、数据仓库、数据湖、湖仓一体分别是什么?
数据库连接 如何与DWS进行通信? DWS是否支持第三方客户端以及JDBC和ODBC驱动程序? 无法连接DWS集群时怎么处理? 为什么在互联网环境连接DWS后,解绑了EIP不会立即返回失败消息? 使用公网IP连接DWS集群时如何设置白名单?
数据迁移 DWS的OBS外表与GDS外表支持的数据格式有什么区别? 数据如何存储到DWS? DWS可以存储多少业务数据? 如何使用DWS的\copy导入导出? 如何实现DWS不同编码库之间数据容错导入 DWS导入性能都和哪些因素有关联?
集群管理 如何清理与回收DWS存储空间? 为什么DWS扩容后已使用存储容量比扩容前减少了很多? DWS的磁盘空间/容量是如何统计的? DWS添加云监控服务的告警规则时会话数阈值如何设置? 如何判断DWS集群是x86还是ARM架构? DWS扩容检查不通过怎么办? DWS增加CN和扩容集群分别在什么场景下使用?
数据库性能 为什么DWS使用一段时间后执行SQL很慢? 为什么DWS的性能在极端场景下并未比单机数据库好 DWS业务读写阻塞,如何查看某个时间段的sql执行记录? DWS中“算子下盘”是什么含义? DWS的CPU资源隔离管控介绍 为什么DWS普通用户比dbadmin用户执行的慢?
数据库使用 如何调整DWS分布列? 如何查看和设置DWS数据库的字符集编码格式 如何处理DWS建表时date类型字段自动转换为timestamp类型的问题? DWS是否需要定时对常用的表做VACUUM FULL和ANALYZE操作? 如何导出DWS某张表结构? DWS是否有高效的删除表数据的方法?
账户与权限 DWS如何实现业务隔离 DWS数据库账户密码到期了,如何修改? 如何给DWS指定用户赋予某张表的权限? 如何给DWS指定用户赋予某个SCHEMA的权限? 如何创建DWS数据库只读用户? 如何创建DWS数据库私有用户和私有表? DWS如何REVOKE某用户的connect
如何判断DWS集群是x86还是ARM架构? 操作步骤 登录DWS管理控制台。 单击“专属集群 > 集群列表”。默认显示用户所有的集群列表。 在集群列表中,单击指定集群名称进入“集群详情”页面,在“基本信息”模块查看指定集群的节点规格。 根据节点规格在表格中查找对应的集群架构。规格说明如下所示:
重构缓存模型,表级别下新增分区级别缓存,每个表中可以有多份缓存,缓存通过分布列映射到不同分区中,可实现并发入库。 client初始化支持properties配置文件方式。 upsert、merge等操作强制要求前一批数据完成后才能执行,保证入库顺序和缓存写入顺序一致。 数据类型的转换迁移至写缓存时,copy、upsert均可生效。
C开发、性能调优等场景。 表1 实验列表 场景 实验名称 实验描述 预计时长 导入分析 快速入门 一键式创建GaussDB(DWS)集群,上传csv本地数据到云存储OBS桶,通过创建OBS外表实现数据导入并简单分析。 1h 零售业经营多维度分析 环境已预置样例数据在OBS桶,通过
描述:返回当前实例上指定数据库中创建临时文件的个数。 返回值类型:bigint pg_stat_get_db_total_temp_files(oid) 描述:在CN上执行该函数,返回集群中所有DN上指定数据库中创建临时文件的总个数。在DN上执行该函数,返回当前实例上指定数据库中创建临时文件的个数。 返回值类型:bigint
TIMESTAMP WITH TIME ZONE 最近一次同步任务结束的时间。 hudi_flushdisk_time TEXT hudi文件落盘时间。 查询同步任务状态 使用函数hudi_show_sync_state()查询Hudi同步任务状态: 1 SELECT * FROM
ptions中的参数值。 address 指定HDFS集群的主备节点所在的IP地址以及端口。 hdfscfgpath 指定HDFS集群配置文件路径。该参数仅支持type为HDFS时设置。只能设置一个路径。 type 取值为'hdfs',表示HDFS_FDW连接的是HDFS。 查看外部服务器:
DELTAMERGE提示不支持。 对表执行VACUUM FULL操作时会触发表重建(表重建过程中会先把数据转储到一个新的数据文件中,重建完成之后会删除原始文件),当表比较大时,重建会消耗较多的磁盘空间。当磁盘空间不足时,要谨慎对待大表VACUUM FULL操作,防止触发集群只读。