检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
字段值长度超过限制。 在数据源文件中,修改字段值长度。根据此错误信息,字段值长度限制为VARCHAR2(16)。 父主题: 使用GDS从远端服务器导入数据
变。 当GDS用户的本地磁盘空间不足时: 通过管道文件将从GDS导出的数据进行压缩减少磁盘空间。 通过管道直接将导出来的数据放到hdfs服务器上。 当用户导出前需要清洗数据时: 用户可以根据自己的需求编写程序,将需要处理的流式数据实时从管道中读取内容,完成导出的数据清洗工作。 当
库的数据。 数据服务器:数据源文件所在的服务器称为数据服务器。基于安全考虑,建议数据服务器和GaussDB(DWS)集群处于同一内网。 外表Foreign Table:用于识别数据源文件的位置、文件格式、存放位置、编码格式、数据间的分隔符等信息。是关联数据文件与数据库实表(目标表)的对象。
DS。 操作步骤 在使用GDS导入/导出数据前,请先参考教程:使用GDS从远端服务器导入数据中的步骤:“准备ECS作为GDS服务器”、“下载GDS工具包”。 以root用户登录待安装GDS的数据服务器,创建存放GDS工具包的目录。 mkdir -p /opt/bin/dws 将GDS工具包上传至上一步所创建的目录中。
timestamp with time zone 时间戳。 used_cpu int 实例使用CPU所占用的百分比。 free_mem int 实例未使用的内存大小,单位MB。 used_mem int 实例已使用的内存大小,单位为MB。 io_await real 实例所使用磁盘的io_wait值(10秒均值)。
概览”可查看当前集群各节点CPU使用率的具体情况,单击最右的监控按钮,查看最近1/3/12/24小时的CPU性能指标,判断是否有CPU使用率突然增大的情况。 设置异常规则及时终止高内存语句。 防止极端场景下某些语句使用内存过多,导致其他语句由于内存分配不足而出现算子下盘执行缓慢或者申请不到内存而执行
timestamp with time zone 时间戳。 used_cpu int 实例使用CPU所占用的百分比。 free_mem int 实例未使用的内存大小,单位MB。 used_mem int 实例已使用的内存大小,单位MB。 io_await real 实例所使用磁盘的io_wait值(10秒均值)。
20 其中各字段分别为:输出顺序号、线程内分配内存上下文的顺序号、当前内存上下文的名称、父内存上下文的输出顺序号、父内存上下文的名称、内存上下文树形层次级别号、当前内存上下文使用的内存峰值、当前内存上下文及其所有子内存上下文使用的内存峰值、当前线程所在query的plannodeid。
GaussDB(DWS)不同集群规格的CPU核数、内存大小和节点存储容量不同,处理业务能力和性能也就不同,用户在创建集群前需要结合实际业务量和具体使用场景来选择集群规格。 在使用集群过程中,当用户的业务量过大,则需要更多的资源(CPU、内存、网络带宽等)来支撑逐渐增长的业务量,如
集群性能分析 GaussDB(DWS)不同集群规格的CPU核数、内存大小和节点存储容量不同,处理业务能力和性能也就不同,用户在创建集群前需要结合实际业务量和具体使用场景来选择集群规格。 在使用集群过程中,当用户的业务量过大,则需要更多的资源(CPU、内存、网络带宽等)来支撑逐渐增长的业务量
20 其中各字段分别为:输出顺序号、线程内分配内存上下文的顺序号、当前内存上下文的名称、父内存上下文的输出顺序号、父内存上下文的名称、内存上下文树形层次级别号、当前内存上下文使用的内存峰值、当前内存上下文及其所有子内存上下文使用的内存峰值、当前线程所在query的plannodeid。
内存管理函数 内存管理函数仅9.1.0及以上集群版本支持。 pg_shared_chunk_detail(contextname char(64)) 描述:查询指定共享内存下内存上下文申请的所有chunk信息。 参数contextname,表示内存上下文名称。 使用该函数需先使用
队列非空的时间比例%。 ≥ 0.0 实例内存监控统计 实例名称。 字符串 60s 统计每个CN、DN实例的内存使用情况,可用来监控实例内存和动态内存,当实例内存使用率超过阈值时,集群存在实例内存不足风险。 85% 实例所占用的内存大小。 ≥ 0.0 进程所使用的内存大小。 ≥ 0
GaussDB(DWS)导入性能都和哪些因素有关联? dws的导入性能受多方面因素影响,主要有以下几点: 集群规格:磁盘io、网络吞吐、内存、cpu规格等。 业务规划:表字段的类型、是否压缩、行存还是列存。 数据存储:集群本地、OBS等。 数据导入的方式选择等。 父主题: 数据迁移
查询并发控制无效。 内存管理 内存资源,即资源池所占用的内存百分比。 内存管理的目的:防止数据库系统占用内存过高导致内存溢出(OOM)和实现资源池之间的内存隔离和限制。为满足这两个目的,资源管理从以下两方面进行内存管理: 全局内存管理 为防止数据库系统使用内存过大导致OOM,设置
准备ECS作为GDS服务器 购买Linux弹性云服务器的操作步骤,请参见《弹性云服务器快速入门》中的自定义购买弹性云服务器。购买后,请参见登录Linux弹性云服务器进行登录。 ECS操作系统必须是GDS工具包所支持的操作系统。 ECS与DWS处于同一区域、同一虚拟私有云和子网。 ECS安全组规则需放通DWS集群的访问,即安全组入规则:
TPC-DS测试环境 硬件环境 每个测试环境6个节点,配置如下: CPU 16核:Intel Ice Lake 内存:64GB 网络带宽:9Gbit/s 磁盘:SSD云盘,每块600GB,共2块 软件环境 内核版本:Linux 3.10.0-862.14.1.5.h757.eulerosv2r7
SSB测试环境 硬件环境 每个测试环境6个节点,配置如下: CPU 16核:Intel Ice Lake 内存:64GB 网络带宽:9Gbit/s 磁盘:SSD云盘,每块600GB,共2块 软件环境 内核版本:Linux 3.10.0-862.14.1.5.h757.eulerosv2r7
TPC-H测试环境 硬件环境 每个测试环境6个节点,配置如下: CPU 16核:Intel Ice Lake 内存:64GB 网络带宽:9Gbit/s 磁盘:SSD云盘,每块600GB,共2块 软件环境 内核版本:Linux 3.10.0-862.14.1.5.h757.eulerosv2r7
%,系统默认的CPU专属限额(%)为0。 CPU专属限额仅8.1.3及以上集群版本支持。 - 内存资源(%) 资源池所占用的内存百分比。 内存和查询并发支持单独管控和联合管控,联合管控时必须同时满足并发和内存要求时作业才能下发。 0(不限制) 存储资源(MB) 可使用的永久表空间大小。