检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
型。 数据治理中心DataArts Studio的核心主要是智能数据湖FusionInsight,包含数据库、数据仓库、数据湖等各计算引擎平台,提供了数据使能的全套能力,支持数据的采集、汇聚、计算、资产管理、数据开放服务的全生命周期管理。 拥有强大的湖、仓、库引擎技术,比如数据湖
GaussDB(DWS)外表功能开发规范 规则4.1 GDS服务需单独使用服务器部署在DWS集群外 违反规范的影响: GDS如果部署在DWS集群内,会与DWS集群CN/DN节点发生资源争抢,导致双方性能同时劣化。 方案建议: GDS服务单独使用服务器部署在DWS集群外。 GDS所
为什么在互联网环境连接GaussDB(DWS)后,解绑了EIP不会立即返回失败消息? 这是因为解绑了EIP后,会导致网络断开。但是此过程中,TCP协议层因keepalive等的设置,无法及时识别物理连接已经故障,导致gsql,ODBC和JDBC等客户端无法及时识别网络故障。 客户
缩容数应按扩容顺序逆向选择,如:先扩容3个节点,再扩容4个节点,本次缩容可选择缩容4个节点,或缩容7个节点。 online 是 Boolean 在线缩容。 type 是 String 数据库类型。 dws:标准数仓 hybrid:实时数仓 retry 否 Boolean 重试。 force_backup
降低I/O的处理方案 问题现象 在DWS实际业务场景中因I/O高、I/O瓶颈导致的性能问题较多,其中应用业务设计不合理导致的问题占大多数。本文从应用业务优化角度,以常见触发I/O慢的业务SQL场景为例,指导如何通过优化业务去提升I/O效率和降低I/O。 确定I/O瓶颈&识别高I/O的语句
如果要回收delta表的冗余存储空间,需要对该列存表执行VACUUM DELTAMERGE。 VACUUM FULL系统表只能离线操作,在线VACUUM FULL系统表除了会锁表,还可能导致一些异常情况并产生报错。 如果有长查询访问系统表,此时执行VACUUM FULL,长查询可能会阻塞VACUUM
表诊断 GaussDB(DWS)提供了集群中数据表关键运行状态的统计数据与诊断工具。其中包括: 表倾斜率:对于集群中数据表统计信息进行监控分析,展示倾斜率高于5%且表大小TOP50的表信息。 表脏页率:对于集群中数据表统计信息进行监控分析,展示脏页率高于50%且表大小TOP50的表信息。
表诊断 GaussDB(DWS)提供了集群中数据表关键运行状态的统计数据与诊断工具。其中包括: 表倾斜率:对于集群中数据表统计信息进行监控分析,展示倾斜率高于5%且表大小TOP50的表信息。 表脏页率:对于集群中数据表统计信息进行监控分析,展示脏页率高于50%且表大小TOP50的表信息。
wait_dummy_time 增量catchup中等待从备启动或者从备发回扫描列表的最长时间。 5 enable_xlog_group_insert 用于指定在ARM平台下,xlog是否启动group的插入方式。 6 topsql_retention_time 该参数表示gs_wlm_session_inf
UPDATE MySQL的UPDATE操作形式包括:LOW_PRIORITY、ORDER BY、LIMIT 、IGNORE。 LOW_PRIORITY MySQL UPDATE语句如果使用LOW_PRIORITY修饰符,则执行UPDATE延迟。 输入示例 1 2 #测试 LOW_PRIORITY
用于长期、稳定的业务需求。以下是一些适用于包年/包月计费模式的业务场景: 稳定业务需求:对于长期运行且资源需求相对稳定的业务,如企业官网、在线商城、博客等,包年/包月计费模式能提供较高的成本效益。 长期项目:对于周期较长的项目,如科研项目、大型活动策划等,包年/包月计费模式可以确保在整个项目周期内资源的稳定使用。
on表示产生binlog。 off表示不产生binlog。 默认值:on binlog_consume_timeout 参数说明:用于控制在线扩缩容binlog表或者vacuum full binlog表时,循环判断binlog记录是否都被消费的超时时间。该参数仅8.3.0.100及以上版本支持。单位秒。
String 实例名称 host_name String 主机名称 host_stat String 主机状态,其中包括: ONLINE:在线 OFFLINE:离线 work_ip String IP地址。 mem_free double 系统中未使用的内存(GB)。 mem_total
TABLE对象设计规范(重点) 规则2.9 创建表时必须选择正确的分布方式和分布列 违反规范的影响: 分布式和分布列选择错误,导致表数据存储倾斜,访问性能下降,严重情况会触发存储和计算资源过载。 方案建议: 创建表时通过DISTRIBUTE BY显式指定分布方式和分布列,分布列选择原则如下表所示。
TABLE对象设计规范(重点) 规则2.9 创建表时必须选择正确的分布方式和分布列 违反规范的影响: 分布式和分布列选择错误,导致表数据存储倾斜,访问性能下降,严重情况会触发存储和计算资源过载。 方案建议: 创建表时通过DISTRIBUTE BY显式指定分布方式和分布列,分布列选择原则如下表所示。
GaussDB(DWS)集群状态异常操作 解除只读 当集群进入只读状态时,无法进行数据库写入相关操作,用户可以在管理控制台解除集群的只读状态。触发只读状态可能是由于磁盘使用率过高,因此需要对集群数据进行清理,详情请参见磁盘使用率高&集群只读处理方案章节。 解除只读支持1.7.2及以上版本。
运行vac_fileclear_relation函数,将会对指定表施加排他锁,完成空间回收。 VACUUM FULL系统表只能离线操作,在线VACUUM FULL系统表除了会锁表,还可能导致一些异常情况并产生报错。 如果有长查询访问系统表,此时执行VACUUM FULL,长查询可能会阻塞VACUUM
metadataCacheSeconds 表元数据缓存时间,为提升性能,会对理论上不怎么变更的数据,例如表结构,该参数用于设置缓存过期时间;如果系统不考虑支持在线表结构变更,无需配置该参数,以减少对dws集群系统表查询导致的压力,小于等于0表示永不过期 -1 1.x为180s RETRY_SLEEP_BASE_TIME
on表示产生binlog。 off表示不产生binlog。 默认值:on binlog_consume_timeout 参数说明:用于控制在线扩缩容binlog表或者vacuum full binlog表时,循环判断binlog记录是否都被消费的超时时间。该参数仅8.3.0.100及以上版本支持。单位秒。
附录 TPC-H测试集 TPC-DS测试集