检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS集群上的数据准备 从MRS导入数据到GaussDB(DWS)集群之前,假设您已经完成了以下准备工作: 已创建MRS集群。 在MRS集群上创建了Hive/Spark ORC表,且表数据已经存储到该表对应的HDFS路径上。 如果您已经完成上述准备,则可以跳过本章节。 为方便起见,以在MRS集群上创建Hive
DWS集群节点动态内存使用率超阈值。 类型 操作告警。 发生时间 告警发生时间。 附加信息 集群ID 集群resourceId、domain_id等详细信息。 对系统的影响 动态内存长时间使用率高可能导致业务进程响应缓慢或不可用。 可能原因 存在复杂的业务占用大量的动态内存资源。 集群动态内存配置过低,无法满足业务需求。
参数说明: 设置允许事务处于idle空闲状态的时间。当事务处于idle状态超过该时间后,会终止本事务。功能仅对直连CN的客户端连接生效,对直连DN或内部连接不生效。该参数仅8.2.1.100及以上集群版本支持。 参数类型:USERSET 取值范围:0 ~ 86400,单位为秒。
设置这个参数,还要考虑GaussDB(DWS)的共享缓冲区以及内核的磁盘缓冲区。另外,还要考虑预计的在不同表之间的并发查询数目,因为它们将共享可用的空间。 这个参数对GaussDB(DWS)分配的共享内存大小没有影响,它也不会使用内核磁盘缓冲,它只用于估算。数值是用磁盘页来计算的,通常每个页面是8192字节。
DWS集群节点实例内存使用率超阈值。 类型 操作告警。 发生时间 告警发生时间。 附加信息 集群ID 集群resourceId、domain_id等详细信息。 对系统的影响 实例内存长时间使用率高可能导致业务进程响应缓慢或不可用。 可能原因 存在复杂的业务占用大量的实例内存资源。 集群实例内存配置过低,无法满足业务需求。
(n):独立创建的对象之间的一般关系。依赖对象可以在不影响被引用对象的情况下删除。被引用对象只能通过指定CASCADE被删除,这种情况下依赖对象也会被删除。例如:一个表字段对其数据类型有一般依赖关系。 DEPENDENCY_AUTO (a):依赖对象可以和被引用对象分别删除,且在被引用对象被删除时应自动被删除(不
(n):独立创建的对象之间的一般关系。依赖对象可以在不影响被引用对象的情况下删除。被引用对象只能通过指定CASCADE被删除,这种情况下依赖对象也会被删除。例如:一个表字段对其数据类型有一般依赖关系。 DEPENDENCY_AUTO (a):依赖对象可以和被引用对象分别删除,且在被引用对象被删除时应自动被删除(不
错误码: collation mismatch between implicit collations %s and %s. 解决方案:您可以通过对一个或两个表达式应用COLLATE子句来选择排序规则。 level: ERROR GS_212101101 错误码: INSERT has more
见GaussDB(DWS)价格详情。 表1 GaussDB(DWS)计费项说明 计费项 计费说明 适用的计费模式 计费公式 数据仓库节点 对您选择的节点规格计费,计费详情请参见GaussDB(DWS)价格详情。 计费模式的详细说明请参见计费模式。 包年/包月计费、按需计费 节点规格单价*计费时长
列表分区 Hash分区 范围子分区 列表子分区 Hash子分区 未来可能会支持当前不支持的分区/子分区。该工具中,用户可设置配置参数,启用/禁用对不支持语句的注释功能。详情请参见Oracle配置参数。 PARTITION BY HASH Hash分区是一种分区技术,其中Hash算法用于
安装配置和启动GDS 操作场景 GaussDB(DWS)提供了数据服务工具GDS来帮助分发待导入的用户数据及实现数据的高速导入。GDS需部署到数据服务器上。 数据量大,数据存储在多个服务器上时,在每个数据服务器上安装配置、启动GDS后,各服务器上的数据可以并行入库。GDS在各台数
使用限制 本文介绍使用GaussDB(DWS)产品重点功能限制以及注意事项。 创建GaussDB(DWS)集群后,您不需要做数据库的基础运维(例如高可用、打安全补丁等),但需要重点关注如下事项。 规格与性能限制 表1 规格与性能限制 资源类型 限制 说明 多AZ可用分区 3 只有
boolean 函数是否为一个安全定义器(例如,一个“setuid”函数)。 proleakproof boolean 函数有无其他影响。如果函数没有对参数进行防泄露处理,则会抛出错误。 proisstrict boolean 如果任意调用参数为空,函数是否返回空值。这种情况下函数实际上根本
(expression1)(CHAR(n)) 输出 1 CAST( (expression1) AS CHAR(n) ) COLUMNS和COLUMN ALIAS 输入:对某列进行类型转换和格式化时,应确保列名和别名相同 1 2 3 4 5 6 7 SELECT Product_Line_ID, MAX(Standard_Price)
数据仓库的监控指标,告警引擎用来做阈值判断的数据源。 告警对象(自定义告警规则参数):选择的当前集群中包含的数据库,及其已选择的数据库中所包含的SCHEMA。 触发条件:定义对监控指标做阈值判断的计算规则。目前主要使用一段时间内的平均值来降低告警震荡的几率。 抑制条件:在指定的时间段内,抑制同类型告警的反复触发和消除。
安装配置和启动GDS 操作场景 GaussDB(DWS)提供了数据服务工具GDS来帮助分发待导入的用户数据及实现数据的高速导入。GDS需部署到数据服务器上。 数据量大,数据存储在多个服务器上时,在每个数据服务器上安装配置、启动GDS后,各服务器上的数据可以并行入库。GDS在各台数
allint够用,就不用bigint而浪费空间。 正确使用约束。 明确不存在NULL值的字段加上NOT NULL约束,优化器会在特定场景下对其进行自动优化。 业务层面能补全的字段,不要使用DEFAULT约束,避免数据加载时产生不符合预期的结果。 避免非必要类型转换。 当多个表存在
allint够用,就不用bigint而浪费空间。 正确使用约束。 明确不存在NULL值的字段加上NOT NULL约束,优化器会在特定场景下对其进行自动优化。 业务层面能补全的字段,不要使用DEFAULT约束,避免数据加载时产生不符合预期的结果。 避免非必要类型转换。 当多个表存在
下图给出了上述示例配置的费用计算过程。 图中价格仅供参考,实际计算请以GaussDB(DWS)价格详情中的价格为准。 图2 折扣套餐DWS费用计算示例 变更配置后对计费的影响 已经购买的折扣套餐包不支持直接更改套餐包类型,例如包月套餐包不能直接更改为包年套餐包,但可以在包月套餐包到期时重新购买新的包年套
fle占用了大量宝贵的网络资源,减小不必要的数据shuffle,可以减少网络压力,使数据的处理本地化,提高集群的性能和可支持的并发度。通过对关联条件和分组条件的仔细设计,能够尽可能的减少不必要的数据shuffle。 选择存储方案 【建议】表的存储类型是表定义设计的第一步,用户业务