-
教程:导出ORC数据到MRS - 数据仓库服务 GaussDB(DWS)
通信安全授权 勾选“确认授权”。 创建MRS数据源连接 登录DWS管理控制台,单击已创建好的DWS集群,确保DWS集群与MRS在同一个区域、可用分区,并且在同一VPC子网下。 切换到“MRS数据源”,单击“创建MRS数据源连接”。
-
安装配置和启动GDS - 数据仓库服务 GaussDB(DWS)
默认值为:127.0.0.1,需要替换为能跟GaussDB(DWS)通信的万兆网IP。监听端口的取值范围:1024~65535。默认值为:8098。本教程配置为:192.168.0.90:5000。 -H address_string:允许哪些主机连接和使用GDS服务。
-
创建和管理表 - 数据仓库服务 GaussDB(DWS)
在满足前两条原则的情况,考虑选择查询中的连接条件为分布列,以便Join任务能够下推到DN中执行,且减少DN之间的通信数据量。 对于Hash分表策略,如果分布列选择不当,可能导致数据倾斜,查询时出现部分DN的I/O短板,从而影响整体查询性能。
-
创建和管理表 - 数据仓库服务 GaussDB(DWS)
在满足前两条原则的情况,考虑选择查询中的连接条件为分布列,以便Join任务能够下推到DN中执行,且减少DN之间的通信数据量。 对于Hash分表策略,如果分布列选择不当,可能导致数据倾斜,查询时出现部分DN的I/O短板,从而影响整体查询性能。
-
常见问题处理 - 数据仓库服务 GaussDB(DWS)
一般来说,此问题是由于连接时使用的-h参数及-p参数指定的连接主机及端口有误(即错误信息中的xxx部分),导致通信故障;极少数情况是网络故障导致。要排除此问题,请检查数据库的主机名及端口是否正确。
-
数据库SEQUENCE优秀实践 - 数据仓库服务 GaussDB(DWS)
因此,增大sequence的cache有利于减少CN/DN与GTM通信的次数。 创建sequence的两种方式 方式一:使用CREATE SEQUENCE语句创建序列,在新建的表中通过nextval调用。
-
使用GDS从远端服务器导入数据最佳实践 - 数据仓库服务 GaussDB(DWS)
默认值为:127.0.0.1,需要替换为能跟GaussDB(DWS)通信的万兆网IP。监听端口的取值范围:1024~65535。默认值为:8098。本教程配置为:192.168.0.90:5000。 -H address_string:允许哪些主机连接和使用GDS服务。
-
表结构设计 - 数据仓库服务 GaussDB(DWS)
在满足前两条原则的情况,考虑选择查询中的连接条件为分布列,以便Join任务能够下推到DN中执行,且减少DN之间的通信数据量。 对于Hash分表策略,如果分布列选择不当,可能导致数据倾斜,查询时出现部分DN的I/O短板,从而影响整体查询性能。
-
术语表 - 数据仓库服务 GaussDB(DWS)
它是在传输通信协议(TCP/IP)上实现的一种安全协议,采用公开密钥技术。SSL广泛支持各种类型的网络,同时提供三种基本的安全服务,它们都使用公开密钥技术。SSL支持服务通过网络进行通信而不损害安全性。它在客户端和服务器之间创建一个安全连接。然后通过该连接安全地发送任意数据量。
-
术语表 - 数据仓库服务 GaussDB(DWS)
它是在传输通信协议(TCP/IP)上实现的一种安全协议,采用公开密钥技术。SSL广泛支持各种类型的网络,同时提供三种基本的安全服务,它们都使用公开密钥技术。SSL支持服务通过网络进行通信而不损害安全性。它在客户端和服务器之间创建一个安全连接。然后通过该连接安全地发送任意数据量。
-
内存 - 数据仓库服务 GaussDB(DWS)
这个公式中提到vm.min_free_kbytes,其含义是预留操作系统内存供内核使用,通常用作操作系统内核中通信收发内存分配,至少为5%内存。
-
8.2.1版本新增功能 - 数据仓库服务 GaussDB(DWS)
开发指南>GUC参数>资源管理 开发指南>资源监控>实时TopSQL/历史TopSQL 通信能力增强,新增GUC参数conn_recycle_timeout实现空闲连接进行自动回收。
-
CREATE FUNCTION - 数据仓库服务 GaussDB(DWS)
开发测试完成,使用NOT FENCED模式执行,减少fork进程以及通信的开销。 复杂的操作系统操作,例:打开文件,信号处理,线程处理等操作,使用FENCED模式。否则可能影响GaussDB(DWS)数据库的执行。 默认值为FENCED。
-
CREATE FUNCTION - 数据仓库服务 GaussDB(DWS)
开发测试完成,使用NOT FENCED模式执行,减少fork进程以及通信的开销。 复杂的操作系统操作,例:打开文件,信号处理,线程处理等操作,使用FENCED模式。否则可能影响GaussDB(DWS)数据库的执行。 默认值为FENCED。
-
产品功能 - 数据仓库服务 GaussDB(DWS)
基于电信技术优化的大规模集群通信,提升计算节点间的传输效率。 基于代价的智能优化器,根据集群规模、数据量、生成最优计划,提高执行效率。
-
8.3.0.100版本新增功能 - 数据仓库服务 GaussDB(DWS)
开发指南>GUC参数>连接和认证>通信库参数 CMC 系统表、系统函数历史接口日落 通过日落计划了解产品演进方向,改善产品体验,提升产品可靠性、易用性。
-
查看或导入MRS的Hive数据最佳实践 - 数据仓库服务 GaussDB(DWS)
通信安全授权 勾选“确认授权”。 准备MRS的ORC表数据源 本地PC新建一个product_info.txt,并拷贝以下数据,保存到本地。
-
自定义指标列表 - 数据仓库服务 GaussDB(DWS)
max_comm_memory Float 通信库所允许使用的最大内存。 comm_used_memory Float 通信库已使用的内存大小。 comm_peak_memory Float 通信库的内存峰值。
-
跨集群访问HiveMetaStore - 数据仓库服务 GaussDB(DWS)
通信安全授权 勾选“确认授权”。 准备ORC表 本地PC新建一个product_info.txt,并拷贝以下数据,保存到本地。
-
内存 - 数据仓库服务 GaussDB(DWS)
这个公式中提到vm.min_free_kbytes,其含义是预留操作系统内存供内核使用,通常用作操作系统内核中通信收发内存分配,至少为5%内存。