检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
假设当前有用户u1~u5,在系统中有对应的同名Schema u1~u5,各用户的权限管控如下: u2作为只读用户,需要表u1.t1的SELECT权限。 u3作为插入用户,需要表u1.t1的INSERT权限。 u4作为改写用户,需要表u1.t1的UPDATE权限。 u5作为拥有所有权限的用户,需要表u1.t1的所有权限。
节点管理看到的磁盘空间是DWS集群内所有的磁盘即系统盘、数据盘加到一起的容量,而在存算一体集群概览里看到的磁盘空间只是集群内能做表数据存储的可用空间,另外DWS集群中表是有备份的副本数的,表的备份数据也是需要占用磁盘存储的。存算分离集群概览中的磁盘空间,为缓存大小,是实际申请的磁盘空间。
使用GDS从集群导出到数据之前,要提前准备需要导出的数据,并规划导出的路径。 规划导出路径 Remote模式 以root用户登录GDS数据服务器,创建导出的数据文件存放目录“/output_data”。 1 mkdir -p /output_data (可选)创建用户及所属的用户组。此用户为启动GDS的用户,该用户需要拥有导出数据文件存放目录的写权限。
用或客户端的导入SQL指令后,负责任务的规划及下发到DN。 DN(Datanode):GaussDB(DWS)数据节点。接收CN下发的导入任务,将数据源文件中的数据通过外表写入数据库目标表中。 数据源文件:存有数据的文件。文件中保存的是待导入数据库的数据。 数据服务器:数据源文件
GDS来帮助分发待导入的用户数据及实现数据的高速导入。GDS需部署到数据服务器上。 数据量大,数据存储在多个服务器上时,在每个数据服务器上安装配置、启动GDS后,各服务器上的数据可以并行入库。GDS在各台数据服务器上的安装配置和启动方法相同,本节以一台服务器为例进行说明。 背景信息
适用于高并发、大量数据导出的场景。 当前版本的GDS支持从数据库导出到管道文件,该功能使GDS的导出更加灵活多变。 当GDS用户的本地磁盘空间不足时: 通过管道文件将从GDS导出的数据进行压缩减少磁盘空间。 通过管道直接将导出来的数据放到hdfs服务器上。 当用户导出前需要清洗数据时:
问题分析:会话超时导致连接断开。 处理方法:排查CN和客户端JDBC上的超时配置,按业务实际情况调长超时时间或关闭超时设置。 查看报错的CN日志,如果有session unused timeout这样的日志,说明是会话超时导致的。 解决办法: 登录GaussDB(DWS)管理控制台。 在左侧导航栏中,单击“专属集群
gsfs://192.168.0.90:500x/xxx”中的IP地址和端口,请替换成安装和启动GDS中的对应的GDS的监听IP和端口。如启动两个GDS,则使用“|”区分。如果启动多个GDS,需要将所有GDS的监听IP和端口配置到外表中。 1 2 3 4 5
执行以下SQL语句创建GDS外表(共24张表)。 以下每个外表的“gsfs://192.168.0.90:500x/xxx | gsfs://192.168.0.90:500x/xxx”中的IP地址和端口,请替换成安装和启动GDS中的对应的GDS的监听IP和端口。如启动两个GDS,则使用“|”区分。
GaussDB(DWS)添加云监控服务的告警规则时会话数阈值如何设置? 连接数据库后,执行以下SQL语句可以查看当前全局最大并发会话数。 1 show max_active_statements; 进入到云监控界面,根据查出的全局最大并发会话数,取70%-80%为阈值即可。例如,查询到max_act
创建数据仓库GaussDB(DWS) 参见“创建集群”章节创建GaussDB(DWS)数据仓库。创建成功后,记录集群的内网IP。 为确保ECS与GaussDB(DWS)网络互通,GaussDB(DWS)数据仓库需要与ECS在同一个区域,同一个虚拟私有云和子网下。 表1 DWS规格 参数项 参数取值 区域 华北-北京4
创建弹性云服务器ECS和数据仓库GaussDB(DWS) 创建弹性云服务器ECS 创建数据仓库GaussDB(DWS) 父主题: 测试方法
查看事件 介绍用户如何查找集群或快照发生的事件。 登录GaussDB(DWS) 管理控制台。 在左侧导航树,选择“管理 > 事件管理”,进入事件管理页面。 在事件列表中,默认显示当前所有集群或快照已发生的事件。 在表头的字段名称“时间”旁,单击,可以将事件按时间的顺序或倒叙进行排列。
同一个VPC1下,ECS的内网IP为192.168.120.1,DWS的内网IP为192.168.120.2,即可确保通过内网IP进行通信。 检查通信的基本要点是ECS出方向规则和DWS入方向规则,检查步骤如下: 检查ECS出方向规则: 应确保ECS的安全组的出方向规则放通,如下
如下方法: 将数据文件放到客户端的机器上。 使用gsql连接集群。 执行如下命令导入数据,输入数据文件在客户端的目录信息和文件名,with中指定导入选项,跟正常copy一样,但是需要在copy前添加"\"标识,入库成功后不会有消息提示。 \copy tb_name from '/
“集群地址”:请参见获取GaussDB(DWS)集群连接地址进行获取。如果通过公网地址连接,请指定为集群“公网访问地址”或“公网访问域名”,如果通过内网地址连接,请指定为集群“内网访问地址”或“内网访问域名”。如果通过弹性负载均衡连接,请指定为“弹性负载均衡地址”。 “数据库用户”
硬盘上的分区)。 IK-blocks:分区包含的数据块(1024字节)的数目。 Used:磁盘已使用数据块数目。 Available:磁盘可用的数据块数目。 Use%:普通用户空间使用的百分比,即使空间使用率达到100%,分区仍然留有系统管理员使用的空间。 Mounted on:表示文件系统的挂载点。
GaussDB(DWS)会将某些类型的对象上的权限授予PUBLIC。默认情况下,对表、表字段、序列、外部数据源、外部服务器、模式或表空间对象的权限不会授予PUBLIC。以下这些对象的权限会授予PUBLIC: 数据库的CONNECT权限。 CREATE TEMP TABLE权限。 函数的EXECUTE特权。
com'); 查询表t_customer: 1 SELECT * FROM t_customer ORDER BY id; 当客户的名字、性别、邮件都相同时,则判定它们为重复的记录。对于表t_customer,id等于1、3、6的为重复数据,id为2、5的也是重复数据,删除多余的数据的同时需要保留其中的一条。
数据倾斜情况下,查询时出现部分DN的I/O短板,从而影响整体查询性能。合理的选择分布列,并对已经创建的表,进行分布列的调整,对表查询的性能至关重要。 采用Hash分表策略之后需对表的数据进行数据倾斜性检查,以确保数据在各个DN上是均匀分布的。一般来说,不同DN的数据量相差5%以上