检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
生成配置文件命令 功能 generate-config命令用于生成细粒度容灾的双集群容灾配置文件和主备集群倒换配置文件的初始化设置,用户可生成后自己修改。 命令格式 python3 $GPHOME/script/DisasterFineGrained.py -t generate-config
TPC-H数据生成 从官网获取TPC-H工具。 登录ECS云服务器,执行如下命令创建TPC-H存放目录。 mkdir -p /data1/script/tpch-kit/tpch1000X mkdir -p /data2/script/tpch-kit/tpch1000X 将获取
${FailureReason}实际显示为虚拟私有云具体的错误码。 虚拟私有云错误码的详细信息,请参见《虚拟私有云API参考》中的错误码章节。 DWS.6007 弹性IP已经绑定其他虚拟机,错误码: ${FailureReason}。 说明: ${FailureReason}实际显示为虚拟私有云具体的错误码。
配置DWS数据源连接 参见创建CDM集群先完成CDM集群创建并绑定弹性IP。 确保CDM集群与DWS集群在同一个区域、虚拟私有云下,以保证网络互通。 在CDM管理控制台的“集群管理”页面,单击集群操作列的“作业管理”,选择“连接管理 > 新建连接”。 连接器类型选择“数据仓库服务(DWS)”,单击“下一步”。
序列号生成函数 generate_series()函数根据指定的开始值(start)、结束值(stop)和步长(step)返回一个基于系列的集合。 generate_series()函数的入参中,当step是正数且start大于stop,则返回零行。相反,当step是负数且sta
序列号生成函数 generate_series()函数根据指定的开始值(start)、结束值(stop)和步长(step)返回一个基于系列的集合。 generate_series()函数的入参中,当step是正数且start大于stop,则返回零行。相反,当step是负数且sta
Hash分布表的分布列选取至关重要,需要满足以下原则: 列值应比较离散,以便数据能够均匀分布到各个DN。例如,考虑选择表的主键为分布列,如在人员信息表中选择身份证号码为分布列。 在满足第一条原则的情况下尽量不要选取存在常量filter的列。例如,表dwcjk相关的部分查询中出现dwcjk的列zqdh存在
据的存储和计算。 增强型ETL和实时BI分析 数据仓库在整个BI系统中起到了支柱的角色,更是海量数据收集、存储、分析的核心。为金融、教育、移动互联网、O2O(Online to Offline)等行业提供强大的商业决策分析支持。 优势 数据迁移 多数据源,高效批量、实时数据导入。
优化查询效率。 导入数据后,通过ANALYZE语句生成表统计信息。ANALYZE语句会将统计结果自动存储在系统表PG_STATISTIC中。执行计划生成器会使用这些统计数据,以生成最有效的查询执行计划。 停止GDS 待数据导入完成后,登录每台数据服务器,分别停止GDS。 GDS的停止请参见停止GDS。
Hash分布表的分布列选取至关重要,需要满足以下基本原则: 列值应比较离散,以便数据能够均匀分布到各个DN。例如,考虑选择表的主键为分布列,如在人员信息表中选择身份证号码为分布列。 在满足第一条原则的情况下尽量不要选取存在常量filter的列。 在满足前两条原则的情况,考虑选择查询中的连接条件为分布列,以便
否 String 集群安全组ID。 datastore_version 是 String 集群版本。 vpc_id 是 String 集群虚拟私有云ID。 subnet_id 是 String 集群子网ID。 public_ip 否 OpenPublicIp object 弹性IP对象。
GaussDB(DWS)部署在租户专属的云主机环境中,不和任何其他租户共享,从物理上隔绝了数据因为计算资源共享而被泄露的可能性。 GaussDB(DWS)集群的虚拟机通过虚拟私有云隔离,避免被其他租户发现和入侵。 网络划分为业务平面和管理平面,两个平面采用物理隔离的方式进行部署,保证业务、管理各自网络的安全性。
WSAccessVPC”委托以授权GaussDB(DWS)访问VPC。授权成功后,GaussDB(DWS)可以在绑定弹性IP的虚拟机故障时切换至健康虚拟机。 在实际业务中,除了具备策略权限外还需要给不同角色的用户授予不同的资源操作权限。例如创建快照、重启集群等操作,详情请参见策略语法:细粒度策略。
后,记录集群的内网IP。 为确保ECS与GaussDB(DWS)网络互通,GaussDB(DWS)数据仓库需要与ECS在同一个区域,同一个虚拟私有云和子网下。 表1 DWS规格 参数项 参数取值 区域 华北-北京4 可用区 可用区1 产品类型 标准数仓 节点规格 8xlarge |
优化查询效率 导入数据后,通过ANALYZE语句生成表统计信息。ANALYZE语句会将统计结果自动存储在系统表PG_STATISTIC中。执行计划生成器会使用这些统计数据,以生成最有效的查询执行计划。 - 父主题: 从OBS并行导入数据
集群缩容 功能介绍 该接口用于缩容集群。 调用方法 请参见如何调用API。 URI 1 POST /v1.0/{project_id}/clusters/{cluster_id}/cluster-shrink 表1 路径参数 参数 是否必选 参数类型 描述 project_id
当单个字段无法满足离散条件时,可以考虑使用多个字段一起作为分布键。一般情况下,可以考虑选择表的主键作为分布键。例如,在人员信息表中选择证件号码作为分布键。 【建议】在满足第一条原则的情况下,尽量不要选取在查询中存在常量过滤条件的字段作为分布键。例如,在表dwcjk相关的查询中,字
窗口函数 普通的聚集函数只能用来计算一行内的结果,或者把所有行聚集成一行结果。而窗口函数可以跨行计算,并且把结果填到每一行中。 通过查询筛选出的行的某些部分,窗口调用函数实现了类似于聚集函数的功能,所以聚集函数也可以作为窗口函数使用。 窗口函数可以扫描所有的行,并同时将原始数据和聚集分析结果同时显示出来。
Migration,简称CDM),是一种高效、易用的批量数据迁移服务。了解更多请参见云数据迁移CDM。 本实践预计时长90分钟,实践用到的云服务包括虚拟私有云 VPC及子网、弹性公网EIP、云数据迁移 CDM和数据仓库服务 GaussDB(DWS),基本流程如下: 迁移前准备 步骤一:元数据迁移
当单个字段无法满足离散条件时,可以考虑使用多个字段一起作为分布键。一般情况下,可以考虑选择表的主键作为分布键。例如,在人员信息表中选择证件号码作为分布键。 【建议】在满足第一条原则的情况下,尽量不要选取在查询中存在常量过滤条件的字段作为分布键。例如,在表dwcjk相关的查询中,字