检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
存储表。 创建MRS数据源连接。 创建外部服务器。 创建外表。 通过外表导入DWS本地表。 创建MRS分析集群 登录华为云控制台,选择“大数据 > MapReduce服务”,单击“购买集群”,选择“自定义购买”,填写软件配置参数,单击“下一步”。 表1 软件配置 参数项 取值 区域
void Yes 通过setFetchSize可以减少结果集在客户端的内存占用情况。它的原理是通过将结果集打包成游标,然后分段处理,所以会加大数据库与客户端的通信量,会有性能损耗。 由于数据库游标是事务内有效,所以,在设置setFetchSize的同时,需要将连接设置为非自动提交模式,
S指标一般不需要调整。 CPU配置 建议生产环境每个节点16U起步,4U/8U仅用于体验。 搬迁场景:与搬迁对象保持一致。 新建场景:根据总数据量/100GB,计算CPU核数(与实际场景有关,计算密集型的应该增大CPU核数)。 表设计优化 建表语句 由于DWS默认建表类型为行存表
已创建3.0 DWS集群,需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内,确保集群网络互通。 已获取华为云账户的AK和SK。 约束与限制 目前仅支持对接EXTERNAL SCHEMA对应的Hive端数据库的表进行SELECT、INSERT和INSERT OVERWRITE操作,其余操作均不支持。
数据仓库服务磁盘存储 包年/包月集群在可选范围内自定义集群使用的存储类型与存储容量,采用存储资源包年/包月独立计费的方式。 说明: 即创建集群以及创建成功后集群详情界面显示的热存储(含缓存)该存储为磁盘存储,与OBS存储不同。 冷分区数据存储 冷分区数据采用OBS存储,性价比高,采用包年/包月计费。
创建关联逻辑集群用户后,用户提交的查询或修改(包括Insert、Delete、Update等)会在其关联的逻辑集群上进行计算执行。当提交查询或修改的用户与需要查询和修改的基表在不同的逻辑集群上时,数据需要在表所在的逻辑集群和用户关联的逻辑集群间进行查询和修改,此时优化器会生成一个跨逻辑集群的查
样例一:使用资源ID查询账单,并且资源ID与账单中上报的资源ID一致 登录管理控制台,选择“大数据> 数据仓库服务 DWS”。进入数据仓库服务列表页面。 在如下图所示位置单击鼠标左键,复制集群ID。 图1 获取集群ID 在控制台顶部菜单栏中选择“费用与成本 > 费用账单”。进入费用账单页面。
void Yes 通过setFetchSize可以减少结果集在客户端的内存占用情况。它的原理是通过将结果集打包成游标,然后分段处理,所以会加大数据库与客户端的通信量,会有性能损耗。 由于数据库游标是事务内有效,所以,在设置setFetchSize的同时,需要将连接设置为非自动提交模式,
使用Postman调用创建集群接口 场景介绍 本章节指导用户使用Postman创建GaussDB(DWS)集群。该接口为异步接口,创建集群需要10~15分钟。API的调用方法请参考如何调用API。 准备工作 已注册华为云账号并开通华为云,完成实名认证,请参见注册华为账号并开通华为云。
内存 介绍与内存相关的参数设置。 本节涉及的参数仅在数据库服务重新启动后生效。 max_process_memory 参数说明:设置一个数据库节点可用的最大物理内存。 参数类型:SIGHUP 取值范围:整型,2*1024*1024~INT_MAX/2,单位为KB。 默认值:非从备
GaussDB(DWS)下载的JDBC驱动包中,同时提供gsjdbc4.jar和gsjdbc200.jar。 gsjdbc4.jar:与PostgreSQL保持兼容,其中类名、类结构与PostgreSQL驱动完全一致,曾经运行于PostgreSQL的应用程序可以直接移植到当前系统中使用。 gsjdbc200
成本管理 随着上云企业越来越多,企业对用云成本问题也越发重视。使用数据仓库服务GaussDB(DWS)时,如何进行成本管理,减轻业务负担呢?本文将从成本构成、成本分配、成本分析和成本优化四个维度介绍成本管理,帮助您通过成本管理节约成本,在保障业务快速发展的同时获得最大成本收益。 成本构成
节点数。 数据仓库服务磁盘存储 按需计费集群在可选范围内自定义集群使用的存储类型与存储容量,采用存储资源独立计费的方式。 说明: 即创建集群以及创建成功后集群详情界面显示的热存储(含缓存)该存储为磁盘存储,与OBS存储不同。 冷分区数据存储 冷分区数据采用OBS存储,性价比高,按需使用按需计费。
行列存 行存 列存 GIN索引 Btree索引 行存vacuum SP-GiST索引 Hash索引
事务 锁 GTM xlog checkpoint
解析器 词法分析 语法分析 DDL DML 表达式 元数据
其他 逻辑复制 Postmaster IPC Tablespace port目录下的公共机制 Tsearch CN Retry 高级包 JSON format、java - UDF 功能特性
创建用户并授权使用GaussDB(DWS) 使用GaussDB(DWS)前,您需要注册华为云账户,如果需要对账户进行精细化权限管理,可使用统一身份认证服务(Identity and Access Management,简称IAM)。 注册并实名认证华为云账户 如果您还没有华为云账
使用gsql连接DWS 使用gsql连接DWS集群 进入到ECS的/opt目录下,并执行环境变量。 1 2 cd /opt source gsql_env.sh 执行以下命令连接GaussDB(DWS)数据库。其中,<DWS的内网IP>、<用户dbadmin密码>从创建数据仓库GaussDB(DWS)获取。
GAUSS-02901 -- GAUSS-03000 GAUSS-02901 -- GAUSS-02910 GAUSS-02911 -- GAUSS-02920 GAUSS-02921 -- GAUSS-02930 GAUSS-02931 -- GAUSS-02940 GAUSS-02941