检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上传数据到OBS 操作场景 从OBS导入数据到集群之前,需要提前准备数据源文件,并将数据源文件上传到OBS。如果您的数据文件已经在OBS上了,则只需完成上传数据到OBS中的2~3。 准备数据文件 准备需要上传到OBS的数据源文件。GaussDB(DWS)只支持CSV、TEXT、O
GaussDB(DWS) SQL编写规则 DDL 【建议】在GaussDB(DWS)中,建议DDL(建表、comments等)操作统一执行,在批处理作业中尽量避免DDL操作。避免大量并发事务对性能的影响。 【建议】在非日志表(unlogged table)使用完后,立即执行数据清
数据仓库类型 产品类型概述 存算一体:面向数据分析场景,为用户提供高性能、高扩展、高可靠、高安全、低时延、易运维的企业级数仓服务,支持2048节点、20PB级超大规模数据分析能力,适用于“库、仓、市、湖”一体化的融合分析业务。 存算分离:采用存算分离云原生架构,计算、存储分层弹性
GaussDB(DWS)常用运维命令集 本章节仅列出运维常用命令,其中查看的系统对象可根据实际情况灵活变通,查询返回的具体字段含义,请参考《开发指南》中关于对应系统表、系统视图、系统函数的介绍。 查看运维状态类 前提条件:正常连接上DWS集群。 查看当前业务整体运行情况。 1 select
CREATE TYPE 功能描述 在当前数据库中定义一种新的数据类型。定义数据类型的用户将成为该数据类型的拥有者。类型只适用于行存表。 有四种形式的CREATE TYPE,分别为:复合类型、基本类型、shell类型和枚举类型。 复合类型 复合类型由一个属性名和数据类型的列表指定。
CREATE TYPE 功能描述 在当前数据库中定义一种新的数据类型。定义数据类型的用户将成为该数据类型的拥有者。类型只适用于行存表 有四种形式的CREATE TYPE,分别为:复合类型、基本类型、shell类型和枚举类型。 复合类型 复合类型由一个属性名和数据类型的列表指定。如
运行倾斜的hint 功能描述 指明查询运行时重分布过程中存在倾斜的重分布键和倾斜值,针对Join和HashAgg运算中的重分布进行优化。 注意事项 skew hint仅在需要重分布且指定的倾斜信息与查询执行过程中的重分布信息相匹配时才会被使用。 skew hint受GUC参数sk
DWS_2000000006 DWS集群节点数据盘使用率超阈值 告警解释 GaussDB(DWS)每30秒采集集群各节点所有磁盘的使用情况。 如果存在磁盘最近10分钟(可配置)内的最大使用率超过80%(可配置),则上报节点数据盘使用率超阈值的重要告警;如果平均使用率低于75%(即上报阈值减去5%),则消除该重要告警。
折扣套餐 GaussDB(DWS) 提供折扣套餐的计费模式,根据服务购买时长,一次性支付费用。最短时长为1个月,最长时长为3年。 适用场景 折扣套餐计费模式包含以下套餐: 冷数据套餐:适用于已使用或需要使用的DWS 3.0场景,用于集群OBS的数据存储或数据量超过已购买套餐包时。
数据库、数据仓库、数据湖、湖仓一体分别是什么? 如今随着互联网以及物联网等技术的不断发展,越来越多的数据被生产出来,数据管理工具也得到了飞速的发展,大数据相关概念如雨后春笋一般应运而生,如数据库、数据仓库、数据湖、湖仓一体等。这些概念分别指的是什么,又有着怎样的联系,同时,对应的
DBMS_JOB 接口介绍 高级功能包DBMS_JOB支持的所有接口请参见表1。 表1 DBMS_JOB 接口名称 描述 DBMS_JOB.SUBMIT 提交一个定时任务。作业号由系统自动生成。 DBMS_JOB.SUBMIT_NODE 提交一个定时任务。执行节点由用户指定,作业号由系统自动生成。
如果集群的“任务信息”显示为“扩容失败”,表示集群扩容失败。 使用空闲节点扩容 对于大规模的集群扩容,基于可靠性考虑,可通过提前准备好需要扩容的ECS节点执行添加节点,在扩容时选择使用空闲节点扩容。 在大规模集群扩容时建议关闭自动重分布,有利于扩容阶段失败重试,从而增加可靠性。 扩容完成
DBMS_JOB 接口介绍 高级功能包DBMS_JOB支持的所有接口请参见表1。 表1 DBMS_JOB 接口名称 描述 DBMS_JOB.SUBMIT 提交一个定时任务。作业号由系统自动生成。 DBMS_JOB.ISUBMIT 提交一个定时任务。作业号由用户指定。 DBMS_JOB
表诊断 GaussDB(DWS)提供了集群中数据表关键运行状态的统计数据与诊断工具。其中包括: 表倾斜率:对于集群中数据表统计信息进行监控分析,展示倾斜率高于5%且表大小TOP50的表信息。 表脏页率:对于集群中数据表统计信息进行监控分析,展示脏页率高于50%且表大小TOP50的表信息。
查看GaussDB(DWS)集群状态 在GaussDB(DWS)管理控制台的“集群 > 专属集群”页面,用户可以在集群列表中查看集群的概要信息,例如集群状态、任务信息、节点规格和近期事件等信息。 查看集群概览信息 登录GaussDB(DWS)管理控制台,在左侧导航树,选择“集群 >
降低I/O的处理方案 问题现象 在DWS实际业务场景中因I/O高、I/O瓶颈导致的性能问题较多,其中应用业务设计不合理导致的问题占大多数。本文从应用业务优化角度,以常见触发I/O慢的业务SQL场景为例,指导如何通过优化业务去提升I/O效率和降低I/O。 确定I/O瓶颈&识别高I/O的语句
查看GaussDB(DWS)数据库审计日志 数据库审计日志在集群的“安全设置”页面中进行设置,仅“可用”和“非均衡”状态的集群支持修改安全配置,同时集群的任务信息不能处于“节点扩容”、“配置中”、“升级中”、“重分布中”和“重启中”等状态。 前提条件 审计功能总开关audit_e
资源管理 未对数据库资源做控制时,容易出现并发任务抢占资源导致操作系统过载甚至最终崩溃。操作系统过载时,其响应用户任务的速度会变慢甚至无响应;操作系统崩溃时,整个系统将无法对用户提供任何服务。GaussDB(DWS)的负载管理功能能够基于可用资源的多少均衡数据库的负载,以避免数据库系统过载。
资源管理 未对数据库资源做控制时,容易出现并发任务抢占资源导致操作系统过载甚至最终崩溃。操作系统过载时,其响应用户任务的速度会变慢甚至无响应;操作系统崩溃时,整个系统将无法对用户提供任何服务。GaussDB(DWS)的负载管理功能能够基于可用资源的多少均衡数据库的负载,以避免数据库系统过载。