检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
网IP或弹性公网IP连接时,只能连接到固定的CN节点上,存在CN单点问题。因此GaussDB(DWS)引入了弹性负载均衡服务,解决集群访问的单点问题。弹性负载均衡(ELB)是将访问流量根据转发策略分发到后端多台弹性云服务器的流量分发控制服务,可以通过流量分发扩展应用系统对外的服务能力,提高应用程序的容错能力。
云硬盘、网络、CPU、内存等。 表2 集群高可用高可靠风险和建议 集群配置 推荐措施 缺失配置的风险 配置负载均衡 使用ELB负载均衡方式接入业务。参见为GaussDB(DWS)集群绑定和解绑弹性负载均衡。 CN故障情况下您的业务中断,无法提供服务。 配置数据备份 使用备份功能,上下游数据冗余等方式对数据进行备份。
目前,GaussDB(DWS)优化器在分布式框架下制定语句的执行策略时,有三种执行计划方式:生成下推语句计划、生成分布式执行计划、生成发送语句的分布式执行计划。 下推语句计划:指直接将查询语句从CN发送到DN进行执行,然后将执行结果返回给CN。 分布式执行计划:指CN对查询语句进行编译
目前,GaussDB(DWS)优化器在分布式框架下制定语句的执行策略时,有三种执行计划方式:生成下推语句计划、生成分布式执行计划、生成发送语句的分布式执行计划。 下推语句计划:指直接将查询语句从CN发送到DN进行执行,然后将执行结果返回给CN。 分布式执行计划:指CN对查询语句进行编译
描述:用来修改冷热表的冷数据切换至OBS上的时间,默认为每日0点。 table_name为冷热表的表名,类型为name,time为数据切换任务调度时间,类型为Time。 返回值:SUCCESS,任务时间修改成功。 示例: 1 2 3 4 5 SELECT * FROM pg_obs
力需求和资源负荷情况调整计算和存储资源配置,以达到性能最优和降低成本的目的。 一般分布式架构软件弹性伸缩都涉及如下几个维度: Scale Out(即横向扩展,向外扩展) Scale out代表分布式计算的能力,通过在原有系统上增加节点来扩展存储能力和计算能力。对于DWS数仓来说就
描述:用来修改冷热表的冷数据切换至OBS上的时间,默认为每日0点。 table_name为冷热表表名,类型为name,time为数据切换任务调度时间,类型为Time。 返回值:SUCCESS,任务时间修改成功。 示例: 1 2 3 4 5 SELECT * FROM pg_obs
TABLE对象设计规范(重点) 规则2.9 创建表时必须选择正确的分布方式和分布列 违反规范的影响: 分布式和分布列选择错误,导致表数据存储倾斜,访问性能下降,严重情况会触发存储和计算资源过载。 方案建议: 创建表时通过DISTRIBUTE BY显式指定分布方式和分布列,分布列选择原则如下表所示。
TABLE对象设计规范(重点) 规则2.9 创建表时必须选择正确的分布方式和分布列 违反规范的影响: 分布式和分布列选择错误,导致表数据存储倾斜,访问性能下降,严重情况会触发存储和计算资源过载。 方案建议: 创建表时通过DISTRIBUTE BY显式指定分布方式和分布列,分布列选择原则如下表所示。
ew_part_boundary – now_time >= 29 * boundaries_interval,之后再额外多创建一个分区,保证该函数运行时,一定会创建一个新分区 。 示例: 1 2 3 4 5 call proc_add_partition('my_schema.my_table'
持同VPC绑定ELB和跨VPC绑定ELB两种类型操作。 “暂不使用”:暂不使用ELB。如DWS使用于生产环境,需绑定ELB,则选择不使用弹性IP,通过绑定ELB后,再从ELB页面进行弹性IP绑定。 “使用已有”:为集群绑定指定的ELB。如果下拉框中没有可用的ELB,可以单击“创建
transaction>, hold lockmode (null). 这是由于分布式锁导致的,两个DN节点都锁住了自己的数据块,然后又在等待对方的数据块,所以导致锁超时。 这种行为是两阶段锁的特性,分布式情况下都会面临这样的问题。 处理方法 建议对单表执行MERGE,将并发操作改为串行。
function 'PGXC_POOL_CONNECTION_STATUS' in distributed query. 解决方案:请使用不与分布式表连接的简单查询。 level: ERROR 父主题: 通信
PGXC_DEADLOCK PGXC_DEADLOCK视图获取导致分布式死锁产生的锁等待信息。 目前,PGXC_DEADLOCK视图只收集locktype为relation、partition、page、tuple和transactionid的锁等待信息。 表1 PGXC_DEADLOCK字段
SELECT操作规范 规则3.7 禁止执行不下推的SQL GaussDB(DWS)为分布式架构,SQL语句必须下推才能分利用分布式的计算资源,达到性能最优。 违反规范的影响: 不下推的SQL执行性能差,严重情况会导致CN资源瓶颈,影响整体业务。 方案建议: 不使用不下推的语法和不下推的函数,具体参考语句下推调优。
SELECT操作规范 规则3.7 禁止执行不下推的SQL GaussDB(DWS)为分布式架构,SQL语句必须下推才能分利用分布式的计算资源,达到性能最优。 违反规范的影响: 不下推的SQL执行性能差,严重情况会导致CN资源瓶颈,影响整体业务。 方案建议: 不使用不下推的语法和不下推的函数,具体参考语句下推调优。
enable_fast_query_shipping 参数说明:控制查询优化器是否使用分布式框架。 参数类型:USERSET 取值范围:布尔型 on表示执行计划在CN和DN上各自生成。 off表示使用分布式框架,即执行计划在CN上生成,然后发送到DN中执行。 默认值:on enable_trigger_shipping
磁盘扩容失败 表示集群磁盘扩容失败。 弹性负载均衡绑定中 表示集群正在绑定弹性负载均衡。 弹性负载均衡绑定失败 表示集群绑定弹性负载均衡失败。 弹性负载均衡解绑中 表示集群正在解绑弹性负载均衡。 弹性负载均衡解绑失败 表示集群解绑弹性负载均衡失败。 缩容检测中 表示集群正在检测是否满足缩容条件。
如果业务侧有使用域名进行连接,则需要更新域名相应缓存信息避免变更结束后连接失败。 如果集群有绑定弹性负载均衡(ELB),经典变更规格后业务侧连接地址保持不变,继续使用ELB地址;ELB内部服务器地址会更新为新的连接地址。 为防止数据丢失,在变更完成后、删除老集群前会对老集群做一次
本实践演示通过数据湖探索服务DLI Flink作业将分布式消息服务Kafka的消费数据实时同步至DWS数据仓库,实现Kafka实时入库到DWS的过程。 本实践预计时长90分钟,实践用到的云服务包括虚拟私有云VPC及子网、弹性负载均衡ELB、弹性云服务器ECS、对象存储服务OBS、分布式消息服务Kafka、数据湖探索DLI和数据仓库服务DWS