检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看运维任务 登录GaussDB(DWS)管理控制台。 在集群列表中单击指定集群名称。 进入“集群详情”页面,切换至“智能运维”页签。 在运维详情部分切换至运维状态模块。 单击指定运维任务名称,将显示运维任务运行的详细信息。 运维任务:Vacuum 状态:等待中、运行中、已完成、失败。
降低I/O的处理方案 问题现象 在DWS实际业务场景中因I/O高、I/O瓶颈导致的性能问题较多,其中应用业务设计不合理导致的问题占大多数。本文从应用业务优化角度,以常见触发I/O慢的业务SQL场景为例,指导如何通过优化业务去提升I/O效率和降低I/O。 确定I/O瓶颈&识别高I/O的语句
高可靠、高安全、低时延、易运维的企业级数仓服务,支持2048节点、20PB级超大规模数据分析能力,适用于“库、仓、市、湖”一体化的融合分析业务。 存算分离:采用存算分离云原生架构,计算、存储分层弹性伸缩,极致性价比,采用多逻辑集群(Virtual Warehouse,以下简称VW
创建MRS数据源连接 操作场景 GaussDB(DWS)从MRS的HDFS读取数据前,需要先创建一个MRS数据源连接,作为GaussDB(DWS)集群与MRS集群的数据通道。 对系统的影响 一个GaussDB(DWS)集群在创建MRS数据源连接时,不能同时创建两个连接。 创建MR
映射管理 映射概述 在开始创建作业任务之前,还需要创建表结构映射,对应源端与目的端的数据库表结构,帮助用户更容易针对不同数据库进行数据迁移。 创建表结构映射 登录GaussDB(DWS)控制台。 在左侧导航栏选择“数据 > 数据集成 > 映射管理”,进入映射管理页面。 单击“创建表映射配置”,进入创建表映射配置页面。
连接管理 简介 在创建数据迁移任务前,需要先创建连接配置,让集群能够读写数据源。一个迁移任务,需要建立两个连接,源连接和目的连接。哪些数据源支持导出(即作为源连接),哪些数据源支持导入(即作为目的连接)。 不同类型的数据源,创建连接时的配置参数也不相同,本章节指导用户根据数据源类型创建对应的连接。
作业管理 在创建集群实例后,用户可以自定义作业,启用作业,进行数据迁移。 作业分为数据迁移和自动建表: 数据迁移:把kafka中的数据迁移到GaussDB(DWS)中。 自动建表:把源数据库中的表与字段,同步到GaussDB(DWS)中,但不迁移数据。 创建作业 登录GaussDB(DWS)控制台。
表不受影响。 经典变更规格过程中,进入数据重分布阶段集群将会变成“只读”状态,变更过程中业务可能长期被阻塞,建议您在工程师的协助下进行,避免业务受影响。 经典变更规格后内网IP会变更,如果业务侧有使用IP地址进行连接,需要更新连接IP地址。 经典变更规格后域名会保持不变,域名内绑
80个节点添加成功后,再使用这些添加好的节点进行扩容,添加节点过程中不影响集群业务。 扩容集群 随着业务的增长,现有集群规模可能无法满足业务需要,此时,用户可以扩容集群,为集群增加计算节点。扩容时业务不中断。进行扩容操作时,用户可根据需求选择是否在线扩容和自动重分布。 管理重分布
更新MRS数据源配置 操作场景 MRS的HDFS集群参数配置变更时,可能造成GaussDB(DWS)集群无法从HDFS集群导入数据。使用HDFS集群导入数据前,需要执行MRS数据源配置的更新操作。 前提条件 GaussDB(DWS)集群已创建MRS数据源连接。 对系统的影响 更新
通过CN查看PGXC_BULKLOAD_STATISTICS视图,可获取GDS、COPY、\COPY等业务执行过程中的实时统计信息。该视图汇总当前集群上各个节点正在执行的导入/导出类业务的实时执行情况,从而可以监控导入导出类业务的实时进度,辅助进行性能问题排查。 PGXC_BULKLOAD_STATIST
在集群列表中单击指定集群名称。 进入“集群详情”页面,切换至“智能运维”页签。 在运维详情部分切换至运维计划模块。单击“添加运维任务”按钮。 弹出添加运维任务边栏。 运维任务选择“Vacuum”。 调度模式选择“指定目标”,智能运维将在指定时间窗内,自动下发表级Vacuum任务。 用户
PGXC_BULKLOAD_PROGRESS PGXC_BULKLOAD_PROGRESS显示导入业务的执行进度,仅支持GDS普通文件导入业务。需要有系统管理员权限才可以访问此视图 表1 PGXC_BULKLOAD_PROGRESS字段 名称 类型 描述 session_id bigint
GDS、COPY、\COPY等业务执行结束后的历史统计信息。该视图汇总当前集群上各个节点已经执行结束的导入导出类业务的历史执行情况(包括互联互通集群地址、导入导出业务类型、DN上落盘的最大、最小以及总和的行数与字节数等),从而可以获取导入导出类业务执行的历史信息,辅助进行性能问题排查。
M FULL操作。VACUUM FULL执行过程中,本身持有8级锁,会阻塞其他业务,导致锁冲突产生,业务本身会陷入锁等待,20分钟后超时报错。因此,在用户配置时间窗内,应尽量避开执行所有处理表的相关业务。 确认无误后,单击“下一步:配置确认”,完成配置。 父主题: 集群性能
通过CN查看PGXC_BULKLOAD_STATISTICS视图,可获取GDS、COPY、\COPY等业务执行过程中的实时统计信息。该视图汇总当前集群上各个节点正在执行的导入/导出类业务的实时执行情况,从而可以监控导入导出类业务的实时进度,辅助进行性能问题排查。 PGXC_BULKLOAD_STATIST
PGXC_BULKLOAD_PROGRESS PGXC_BULKLOAD_PROGRESS显示导入业务的执行进度,仅支持GDS普通文件导入业务。需要有系统管理员权限才可以访问此视图。 表1 PGXC_BULKLOAD_PROGRESS字段 名称 类型 描述 session_id bigint
3及以上版本集群支持 智能运维 智能运维是GaussDB(DWS)常驻运维工具,可帮助用户智能执行运维任务。智能运维会通过集群负载情况,选择合理时间窗、并发度完成用户指定的任务,在运维任务执行过程中,智能运维将时刻关注用户业务的变化,及时调整运维任务执行策略,以减轻对用户业务的影响。智能运维支持
UUM,还需要用户在管理控制台上配置智能调度任务。具体参见运维计划。 8.1.1及历史版本 以下系统表在做VACUUM FULL时会影响所有业务,请选择空闲时间窗或停止业务时操作。 pg_statistic (统计信息,建议不要清理,会影响业务查询性能) pg_attribute
多AZ集群节点数量必须满足3的倍数。 多AZ集群只支持单节点DN数量<=2的规格。 存储空间 对于SSD云盘,如果您想提高存储空间扩容上限,请联系客服申请。 SSD本地盘存储空间范围与所选数据仓库规格有关。 SSD云盘:高性价比的云硬盘,适合中等性能诉求的企业应用。 SSD本地盘:SSD本地盘不支持磁盘扩容。