检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
字符进行报错,中断导入。 Windows平台下OBS若按照文本格式读取数据文件,遇到0x1A会作为EOF符号结束数据读入造成解析错误,这是Windows平台的实现约束。由于OBS不支持BINARY形式读取,可将相应数据文件交由Linux平台下的OBS读取。 导入非法字符容错规则如下:
e中查询。 参数类型:SUSET 取值范围:布尔型 on表示开启收集功能,开启时,收集器会重复地去查询当前时间的操作系统,这可能会引起某些平台的重大开销,故默认值设置为off。 off表示关闭收集功能。 默认值:off track_functions 参数说明:控制收集函数的调用次数和调用耗时的统计数据。
参数解释 样例值 虚拟私有云 指定集群节点使用的虚拟专用网络,实现不同业务的网络隔离。 首次创建数据仓库集群时,如果未配置过虚拟私有云,可以单击“查看虚拟私有云”进入虚拟私有云管理控制台,新创建一个满足需求的虚拟私有云。 如何创建虚拟私有云,具体请参见《虚拟私有云用户指南》中的创建虚拟私有云和子网章节。
创建弹性云服务器ECS 参考《弹性云服务器用户指南》创建弹性云服务器,创建的规格可参见下表。 由于TPC-DS、TPC-H数据集占用空间较大,以TPC-DS 1000X和TPC-H 1000X为例,分别占用930GB和1100GB。请创建弹性云服务器时,根据需求添加数据盘,举例如下:
GaussDB(DWS) 3.0 存算分离使用建议及性能优化 场景介绍 GaussDB(DWS)全新推出云原生数仓DWS 3.0版本,利用云基础设施提供的资源池化和海量存储能力,结合MPP数据库技术,采用计算存储分离架构,实现了极致弹性、实时入库、数据实时共享和湖仓一体等特性。
字符进行报错,中断导入。 Windows平台下OBS若按照文本格式读取数据文件,遇到0x1A会作为EOF符号结束数据读入造成解析错误,这是Windows平台的实现约束。由于OBS不支持BINARY形式读取,可将相应数据文件交由Linux平台下的OBS读取。 导入非法字符容错规则如下:
wait_dummy_time 增量catchup中等待从备启动或者从备发回扫描列表的最长时间。 5 enable_xlog_group_insert 用于指定在ARM平台下,xlog是否启动group的插入方式。 6 topsql_retention_time 该参数表示gs_wlm_session_inf
TPC-H测试结果 DWS测试了使用存算一体和存算分离两种部署架构下,TPC-H 1T规模数据集的开箱查询性能,共22个查询。存算一体查询总耗时为170.08s,存算分离查询总耗时为172.62s。 图1 TPC-H 1000X开箱性能 详细性能数据见下表。 表1 TPC-H测试结果
TPC-DS测试结果 本测试主要包括使用存算一体和存算分离两种部署架构下,TPC-DS 1T规模数据集的开箱查询性能,共99个查询。存算一体查询总耗时为622.21s,存算分离查询总耗时为645.42s。详细结果见下表。 表1 TPC-DS测试结果 TPC-DS查询 8.3.0 9
工具下载 命令行客户端(包含GDS工具包) 表1 gsql下载地址 操作系统类别 适用操作系统版本 下载地址 校验文件 Windows Windows x86_64: Windows 7及以上。 Windows Server 2008及以上。 dws_8.1.x_gsql_for_windows
log文件。 xDR 详单。用户面和信令面详单的统称,包括CDR和UFDR、TDR和SDR。 网络备份 网络备份为各种平台提供一套完整的、灵活的数据保护方案。平台包含MS Windows、UNIX及Linux。网络备份支持备份、归档、恢复计算机上的文件、文件夹或目录、卷或分区。 物理节点
log文件。 xDR 详单。用户面和信令面详单的统称,包括CDR和UFDR、TDR和SDR。 网络备份 网络备份为各种平台提供一套完整的、灵活的数据保护方案。平台包含Windows、UNIX及Linux。网络备份支持备份、归档、恢复计算机上的文件、文件夹或目录、卷或分区。 物理节点
数据共享函数 pgxc_group_add_subscription(src_vw_name, target_vw_name) 描述:存算分离架构下,逻辑集群(Virtual Warehouse,以下简称VW)之间建立KV订阅关系,建立了订阅关系之后,消费者VW的KVcahce会定期的从生产者的obs
查看数据倾斜状态 操作场景 数据倾斜会造成查询表性能下降。对于记录数超过千万条的表,建议在执行全量数据导入前,先导入部分数据,以进行数据倾斜检查和调整分布列,避免导入大量数据后发现数据倾斜,调整成本高。 背景信息 GaussDB(DWS)是采用Shared-nothing架构的MPP(Massive
e中查询。 参数类型:SUSET 取值范围:布尔型 on表示开启收集功能,开启时,收集器会重复地去查询当前时间的操作系统,这可能会引起某些平台的重大开销,故默认值设置为off。 off表示关闭收集功能。 默认值:off track_functions 参数说明:控制收集函数的调用次数和调用耗时的统计数据。
GaussDB(DWS)中单表查询性能与哪些因素有关? GaussDB(DWS)采用Shared-nothing架构,数据是被分布式存储,因此分布键设计、单表存储数据量、分区数量都会影响单表的整体查询性能。 分布键设计 DWS默认会选择主键的第一列作为分布键。如果同时设置主键和分
GaussDB(DWS)表设计规则 GaussDB(DWS)是分布式架构。数据分布在各个DN上。总体上讲,良好的表设计需要遵循以下原则: 【关注】将表数据均匀分布在各个DN上。数据均匀分布,可以防止数据在部分DN上集中分布,从而导致因存储倾斜造成集群有效容量下降。通过选择合适的分布列,可以避免数据倾斜。
参数解释 样例值 虚拟私有云 指定集群节点使用的虚拟专用网络,实现不同业务的网络隔离。 首次创建数据仓库集群时,如果未配置过虚拟私有云,可以单击“查看虚拟私有云”进入虚拟私有云管理控制台,新创建一个满足需求的虚拟私有云。 如何创建虚拟私有云,具体请参见《虚拟私有云用户指南》中的创建虚拟私有云和子网章节。
GaussDB(DWS)表设计规则 GaussDB(DWS)是分布式架构。数据分布在各个DN上。总体上讲,良好的表设计需要遵循以下原则: 【关注】将表数据均匀分布在各个DN上。数据均匀分布,可以防止数据在部分DN上集中分布,从而导致因存储倾斜造成集群有效容量下降。通过选择合适的分布列,可以避免数据倾斜。
vision_by_truncate,控制整数除法行为结果集输出整数还是浮点数,行为兼容PG或者兼容ORA。 开发指南>GUC参数>版本和平台兼容性 兼容性 控制case when条件中含有返回为多结果集函数(8.3.0.100新增) GUC参数behavior_compat_o