检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可以通过schema进行资源隔离。详情请参见CREATE SCHEMA。 端到端数据分析流程 数据仓库服务与华为云平台其他一系列服务已无缝集成,以便用户能够快速部署端到端的数据分析和解决方案。 端到端数据分析流程如下图所示,该流程展示了每个过程可以使用的云服务。 图2 端到端数据分析流程
数据仓库是企业的重要数据分析系统,随着业务量的增长,自建数仓性能逐渐不能满足实际要求,同时扩展性差、成本高,也使扩容极为困难。GaussDB(DWS)作为云上企业级数据仓库,具备高性能、低成本、易扩展等特性,满足大数据时代企业数据仓库业务诉求。 图1 数据仓库迁移 优势 平滑迁移 GaussDB
| | | | Ruby=CTc/Ruby (3 rows) 如果用户在数据库安装的时候没有指定LC_COLLATE、LC_CTYPE参数,则LC_COLLATE、LC_CTYPE参数的默认值为C。 如果用户在创建数据库
能保证单文件导入速率最大化。 提前做好服务部署规划,数据服务器上,建议一个Raid只布1~2个GDS。GDS跟DN的数据比例建议在1:3至1:6之间。一台加载机的GDS进程不宜部署太多,千兆网卡部署1个GDS进程即可,万兆网卡机器建议部署不大于4个进程。 提前对GDS导入导出的数
以及私钥密码加密文件。 服务器配置 GaussDB(DWS) 在集群部署完成后,默认已开启SSL认证模式。服务器端证书,私钥以及根证书已经默认配置完成。 SSL证书和客户端配置 用户需要配置客户端配置。 GaussDB(DWS) 提供SSL证书下载。 登录GaussDB(DWS)
GaussDB(DWS)外表功能开发规范 规则4.1 GDS服务需单独使用服务器部署在DWS集群外 违反规范的影响: GDS如果部署在DWS集群内,会与DWS集群CN/DN节点发生资源争抢,导致双方性能同时劣化。 方案建议: GDS服务单独使用服务器部署在DWS集群外。 GDS所在服务器的磁盘能力、GDS服
GaussDB(DWS)外表功能开发规范 规则4.1 GDS服务需单独使用服务器部署在DWS集群外 违反规范的影响: GDS如果部署在DWS集群内,会与DWS集群CN/DN节点发生资源争抢,导致双方性能同时劣化。 方案建议: GDS服务单独使用服务器部署在DWS集群外。 GDS所在服务器的磁盘能力、GDS服
建议CN配置数目≤10个。 CCN 中心协调节点(Central Coordinator)。 GaussDB(DWS)通过CCN(Central Coordinator )负责集群内的资源全局负载控制,以实现自适应的动态负载管理。CM在第一次集群启动时,通过集群部署形式,选择编
添加成功后即开始计费,建议需要使用时添加,并及时扩容到集群中。 在反亲和部署模式下,每次添加节点的数量只能是集群安全环大小的整数倍,如集群安全环大小为3,则添加节点时会强制数量为3的倍数。 在反亲和部署模式下,如果因异常下电或其它原因导致某个空闲节点故障,那么该节点所在服务器组
GaussDB(DWS)集群的虚拟机通过虚拟私有云隔离,避免被其他租户发现和入侵。 网络划分为业务平面和管理平面,两个平面采用物理隔离的方式进行部署,保证业务、管理各自网络的安全性。 安全组规则保护,租户可以通过自定义安全组的功能, 配置安全域的访问规则,提供灵活的网络安全性配置。 外部应用软件访问数据仓库服务支持SSL网络安全协议。
合理的设计部署,最大化的使用系统资源,以提高数据导入性能。 OBS的数据导入性能,多数场景受限于网络的并发访问速率,因此在OBS服务器上最好部署多个桶,使用多桶并发导入,提高DN数据传输利用率。 并发导入场景,与单表导入相似,至少应保证I/O性能大于网络最大速率。 配置GUC参数
gds_check用于对GDS部署环境进行检查,包括操作系统参数、网络环境、磁盘占用情况等,也支持对可修复系统参数的修复校正,有助于在部署运行GDS时提前发现潜在问题,提高执行成功率。 注意事项 执行脚本前需设置环境变量,可参考《开发指南》中“导入数据>通过外表并行导入>安装配置和启动GDS”章节。
表示配置时系统获取文件使用的方式: MRS用户:配置MRS manager用户/密码,系统登录MRS manager自动下载配置文件及认证文件。参数说明详情请参见表2。 文件上传: 自行在MRS manager下载配置文件,通过上传配置文件的方式配置,该方式适用于开启Kerberos认证。参数说明详情请参见表3。
[%s] is not supported in single cluster. SQLSTATE:无 错误原因:检查失败。 解决办法:单机部署不支持用户指定的接口。 GAUSS-53101: This interface is not supported in %s cluster
更规格快速提升集群计算能力,在业务峰值过后再快速的将集群配置降低,做到最大程度的节约成本。支持的变更规格列表请参照表支持变更的规格列表。 基于ECS弹性云服务器底层基础能力,升降目标集群虚拟机节点的CPU、内存这两种资源配置,如下图所示: 弹性变更规格整个流程需要停止集群,所以需
安装配置和启动GDS 操作场景 GaussDB(DWS)提供了数据服务工具GDS来帮助分发待导入的用户数据及实现数据的高速导入。GDS需部署到数据服务器上。 数据量大,数据存储在多个服务器上时,在每个数据服务器上安装配置、启动GDS后,各服务器上的数据可以并行入库。GDS在各台数
单的ECS+EVS部署结构: ECS提供计算资源,包括CPU、内存配置,DWS数据库实例(CN、DN等)都部署在ECS上。 EVS提供存储资源,每个DN都会挂载一块EVS云盘。 而组成DWS集群的所有ECS节点都部署在同一个VPC内部,提供高速网络通道。 部署在ECS上的所有数据
安装配置和启动GDS 操作场景 GaussDB(DWS)提供了数据服务工具GDS来帮助分发待导入的用户数据及实现数据的高速导入。GDS需部署到数据服务器上。 数据量大,数据存储在多个服务器上时,在每个数据服务器上安装配置、启动GDS后,各服务器上的数据可以并行入库。GDS在各台数
用户需要检查上层目录权限,保证GDS用户对安装操作目录、安装目录及安装包有读写执行的权限。 目前不支持跨平台的安装部署。 执行命令节点也必须是安装部署机器之一。 --host参数指定的所有节点的密码必须保持一致,才能保证脚本成功进行远程部署。 语法 gds_install -I /path/to/install_dir
企、电商、能源等领域。 实时入库+分析混合业务,上游数据实时入库+数据入库后实时高效查询场景。主要用于电商、金融等实时入库要求高的场景。 产品优势 性价比高,使用场景广泛。 支持冷热数据分析,存储、计算弹性伸缩,无限算力、无限容量等。 混合负载,入库性能强。 提供与列存相当的高性