本实践中两套DWS、ECS服务在同一个区域和虚拟私有云VPC下,确保网络互通。 准备工作 获取此账号的“AK/SK”。 已创建虚拟私有云和子网,参见创建虚拟私有云和子网。 步骤一:创建两套DWS集群 参见创建集群创建两套DWS集群,建议创建在华北-北京四区域。两套集群名称分别为dws-demo01和dws-demo02。
GDS所在服务器的磁盘能力、GDS服务器与DWS集群间网络带宽都要按需规划。 规则4.2 避免同时对多个协同分析外表进行跨集群并发访问 原理说明:在A集群通过协同分析访问B集群数据时,A集群所有DN会与B集群CN建立连接和活跃会话。 违反规范的影响: B集群(远端集群)中CN压力过大,导致连接和活跃会话资源超限,访问异常。
GDS所在服务器的磁盘能力、GDS服务器与DWS集群间网络带宽都要按需规划。 规则4.2 避免同时对多个协同分析外表进行跨集群并发访问 原理说明:在A集群通过协同分析访问B集群数据时,A集群所有DN会与B集群CN建立连接和活跃会话。 违反规范的影响: B集群(远端集群)中CN压力过大,导致连接和活跃会话资源超限,访问异常。
尽量避免数据shuffle,减小网络压力。通过选择join-condition或者group by列为分布列可以最大程度的实现这点。 从上述描述来看表定义中最重要的一点是分布列的选择。创建表定义一般遵循图1所示流程。表定义在数据库设计阶段创建,在SQL调优过程中进行审视和修改。 图1 表定义流程
尽量避免数据shuffle,减小网络压力。通过选择join-condition或者group by列为分布列可以最大程度的实现这点。 从上述描述来看表定义中最重要的一点是分布列的选择。创建表定义一般遵循图1所示流程。表定义在数据库设计阶段创建,在SQL调优过程中进行审视和修改。 图1 表定义流程
GaussDB(DWS)不同集群规格的CPU核数、内存大小和节点存储容量不同,处理业务能力和性能也就不同,用户在创建集群前需要结合实际业务量和具体使用场景来选择集群规格。 在使用集群过程中,当用户的业务量过大,则需要更多的资源(CPU、内存、网络带宽等)来支撑逐渐增长的业务量,如果用户当前使
附录 状态码 错误码 创建VPC 获取项目ID 获取账号ID 获取集群ID 自定义指标列表
GaussDB(DWS)不同集群规格的CPU核数、内存大小和节点存储容量不同,处理业务能力和性能也就不同,用户在创建集群前需要结合实际业务量和具体使用场景来选择集群规格。 在使用集群过程中,当用户的业务量过大,则需要更多的资源(CPU、内存、网络带宽等)来支撑逐渐增长的业务量,如果用户当前使
DWS用户和角色是什么关系? 如何查看DWS数据库用户的创建时间? 如何选择DWS区域和可用分区 数据在DWS中是否安全? 可以修改DWS集群的安全组吗? 数据库、数据仓库、数据湖、湖仓一体分别是什么? DWS的脏页是如何产生的? 如何使用VPC共享来处理DWS资源?
gds_check用于对GDS部署环境进行检查,包括操作系统参数、网络环境、磁盘占用情况等,也支持对可修复系统参数的修复校正,有助于在部署运行GDS时提前发现潜在问题,提高执行成功率。 注意事项 执行脚本前需设置环境变量,可参考《开发指南》中“导入数据>通过外表并行导入>安装配置和启动GDS”章节。 脚本需要在python
析业务。 存算分离:采用存算分离云原生架构,计算、存储分层弹性伸缩,极致性价比,采用多逻辑集群(Virtual Warehouse,以下简称VW)共享存储技术,实现不同负载的计算隔离和并发扩展,适用于OLAP分析场景。 GaussDB(DWS)数仓之间暂不支持互相访问,用户可通过
企业项目ID。值为0表示默认企业项目“default”。 node_type String 节点类型,详情请参见数据仓库规格 vpc_id String 虚拟私有云ID。 subnet_id String 子网ID。 public_ip PublicIp object 公网IP地址,如果未指定,则默认不使用公网连接。
公网IP及带宽(可选) GaussDB(DWS)集群支持绑定弹性公网IP,所需费用按照虚拟私有云(VPC)服务的弹性公网IP计费规则进行计费。计费详情请参见弹性公网IP价格详情。 GaussDB(DWS)集群在华为云内部网络产生的流量不计费。 包年/包月计费、按需计费 按固定带宽值采用阶梯计费:
当增量数据量较大时,就会出现备份慢的情况。建议您适当地增加备份频率。 其中快照备份和恢复速率如下所示(此速率为实验室测试环境下数据,介质为SSD本地盘,仅供用户参考。在实际使用中,由于磁盘、网络、带宽等因素可能会产生一定的差异): 备份速率:200 MB/s/DN 恢复速率:125
DWS Administrator DWS数据库管理员权限,拥有对数据仓库服务的所有执行权限。 拥有VPC Administrator权限的GaussDB(DWS)用户可以创建VPC或子网。 拥有云监控Administrator权限的GaussDB(DWS)用户,可以查看GaussDB(DWS)集群的监控指标信息。
再重启集群。 您可以参考在Cloud Eye查看GaussDB(DWS)集群监控查看集群的“会话数”和“活跃SQL数”指标,查看是否有活跃事务。 重启集群所需时间与集群的规模和业务有关,正常情况下大约需要3分钟左右,不超过20分钟。 如果重启失败,将有可能会导致集群不可用,建议联系技术支持人员进行处理或稍后重试。
作为数据库的字符集,不建议使用sql_ascii编码,因为极易引起混合编码问题。GDS导出时保证外表的字符集和客户端字符集一致即可,导入时保证客户端编码,数据文件内容编码和客户端一致。 如果存在无法变更数据库,客户端,外表字符集时,可以尝试使用iconv命令进行手动转换。 1 2
5021 VPC不存在,或不属于该用户。 VPC不存在,或不属于该用户。 请输入正确的VPC后重试。 404 DWS.5022 子网不存在,或不属于该VPC。 子网不存在,或不属于该VPC。 请输入正确的子网后重试。 404 DWS.5023 安全组不存在,或不属于该VPC。 安全组不存在,或不属于该VPC。
户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮
当不再需要快照时,调用删除手动快照接口删除快照。 当集群使用完成或不再需要时,调用删除集群接口删除集群。 前提条件 已创建VPC、子网和安全组,并获取VPC、子网和安全组的ID,具体请参见创建VPC。 已获取IAM的EndPoint和GaussDB(DWS)的Endpoint。 已获取项目ID,具体请参见获取项目ID。
您即将访问非华为云网站,请注意账号财产安全