检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
业务模块规划不同数据库用户。 不建议使用系统管理员用户跑业务,不同模块业务请通过多用户和权限进行访问控制。 不建议业务直连单CN,需配置负载均衡保证各CN连接均衡。 连接数据库完成所需操作后,要及时关闭数据库连接,避免空闲连接持续占位,消耗连接和公共资源。 使用数据库连接池的场景
“集群地址”:请参见获取集群连接地址进行获取。如果通过公网地址连接,请指定为集群“公网访问域名”,如果通过内网地址连接,请指定为集群“内网访问域名”。如果通过弹性负载均衡连接,请指定为“弹性负载均衡地址”。 “数据库用户”:输入集群数据库的用户名。首次使用客户端连接集群时,请指定为创建集群时设置的默认管理员用户,例如“dbadmin”。
按需、按带宽计费EIP支持和按需、按流量计费EIP互转。 具体变更方式可参考表1。 按需转包年/包月 包年/包月转按需 ELB 批量转包年/包月的ELB实例,计费周期需保持一致。 将已购买的独享型负载均衡的计费模式由按需计费转为包年/包月,按需转包年/包月不会引起业务中断。 按需转包年/包月 包年/包月转按需
快照参数配置 快照参数配置可以指定创建快照和快照恢复的参数信息,以便对快照功能进行优化调整。 该功能仅8.2.0及以上集群版本支持(对于8.2.0之前的集群版本,仅支持个别参数的配置)。 配置参数后该集群所有的快照、恢复都将以所配置的参数下发命令。 操作步骤 登录GaussDB(DWS)管理控制台。
号一致且逻辑同构。 Region内容灾生产集群和灾备集群需要在同一个VPC内。 Region内容灾在生产集群与容灾集群切换后绑定的弹性负载均衡(ELB)会自动切换到新的生产集群,过程中会有短暂的连接中断,请注意在变更时间窗内尽量避免业务语句写入。 Region内容灾在生产集群与容
Teradata的SELECT命令(缩写关键字为SEL)用于指定从哪一列中检索数据。 在GaussDB(DWS)中使用ANALYZE来收集优化器统计信息,这些统计信息将用于查询性能。 输入:ANALYZE,使用INSERT 1 2 INSERT INTO employee(empno
host为数据库服务器名称或IP地址,当集群绑定弹性负载均衡(ELB)时,应设置为ELB的IP地址。 port为数据库服务器端口。缺省情况下,会尝试连接到localhost的8000端口的database。 支持多ip端口配置形式,jdbc自动实现了负载均衡,多ip端口配置形式是采取随机访问+
行获取。如果通过公网地址连接,请指定为集群“公网访问域名”,如果通过内网地址连接,请指定为集群“内网访问域名”。如果通过弹性负载均衡连接,请指定为“弹性负载均衡地址”。 “数据库用户”:输入集群数据库的用户名。首次使用客户端连接集群时,请指定为创建集群时设置的默认管理员用户,例如“dbadmin”。
lient一致。dws-connector-flink为GaussDB(DWS)团队自研工具,后续将根据GaussDB(DWS)数据库持续优化。 dws-flink-connector的DWS-Connector只支持单并发查询存量数据,暂不支持并行读取。 引入依赖 dws-co
为“jdbc:gaussdb” database为要连接的数据库名称。 host为数据库服务器名称或IP地址,当集群绑定弹性负载均衡(ELB)时,应设置为ELB的IP地址。 由于安全原因,数据库CN禁止集群内部其他节点无认证接入。如果要在集群内部访问CN,请将JDBC程序部署在CN所在机器,host使用"127
nager接口,实现小批量RoaringBitmap的数据入库至GaussDB(DWS)。 如针对大批量数据入库,需要在应用侧增加算力进行优化,否则会影响入库性能。 加工RoaringBitmap 访问Maven下载开源的RoaringBitmap的jar包,推荐下载0.9.15版本。
nager接口,实现小批量RoaringBitmap的数据入库至GaussDB(DWS)。 如针对大批量数据入库,需要在应用侧增加算力进行优化,否则会影响入库性能。 加工RoaringBitmap 访问Maven下载开源的RoaringBitmap的jar包,推荐下载0.9.15版本。
Join中进行重分布时存在倾斜,对应原计划的6号算子。生成计划如下所示: 从优化后的计划可以看出:①对于Hash Agg,由于其重分布存在倾斜,所以优化为双层Agg;②对于Hash Join,同样由于其重分布存在倾斜,所以优化为采用新的重分布算子。 需要改写query后进行hint 不带hint的查询和计划如下:
L语句时连接到任何一个CN都可以得到一致的结果)。只需要在CN和应用程序之间增加一个负载均衡器,使得CN对应用是透明的。CN故障时,由负载均衡自动路由连接到另外一个CN,请参见集群绑定和解绑ELB。 当前分布式事务框架下无法避免CN之间的互连,为了减少GTM上线程过多导致负载过大,建议CN配置数目≤10个。
资源管理 未对数据库资源做控制时,容易出现并发任务抢占资源导致操作系统过载甚至最终崩溃。操作系统过载时,其响应用户任务的速度会变慢甚至无响应;操作系统崩溃时,整个系统将无法对用户提供任何服务。GaussDB(DWS)的负载管理功能能够基于可用资源的多少均衡数据库的负载,以避免数据库系统过载。
本实践预计时长90分钟,实践用到的云服务包括虚拟私有云VPC及子网、弹性负载均衡ELB、弹性云服务器ECS、对象存储服务OBS、分布式消息服务Kafka、数据湖探索DLI和数据仓库服务DWS 调优表 调优表实践 在本实践中,您将学习如何优化表的设计。您首先不指定存储方式,分布键、分布方式和压缩
建议对高I/O语句、高下盘语句、高并发语句进行优化整改,进行业务错峰和业务拆分。 动态内存使用率 80%以下 当业务流量突增或复杂灵活查询执行时,会有内存不足报错的风险。 配置异常规则和内存熔断;对高内存业务进行优化整改;参考实时查询和监控并诊断GaussDB(DWS)集群TopSQL进行业务优化。 降内存方法可参见降低内存的处理方案。
CN并发介绍 CN全称为:协调节点(Coordinator Node),是和用户关系最密切也是DWS内部非常重要的一个组件。它负责提供外部应用接口、优化全局执行计划、向Datanode分发执行计划,以及汇总、处理执行结果。CN是外部应用的接口,CN的并发能力直接决定了业务的并发度。 单CN的并发能力受如下几个参数控制:
行列存压缩 GaussDB(DWS)中,只支持列存表压缩功能,暂不支持行存表压缩功能。优化行列存压缩机制,DSC工具迁移时会根据GaussDB(DWS)的特性进行相应适配。 压缩参数 : table.compress.mode创建新表时,需要在CREATE TABLE语句中指定关
信息。但对于由于FATAL、PANIC错误导致查询异常结束时,状态信息列只显示aborted,无法记录详细异常信息。特别的,对于查询解析,优化阶段的状态信息则无法监控。 历史视图具体的对外接口如下表所示: 视图级别 节点范围 查询视图 query级别/perf级别 (推荐使用) 当前CN