检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入大数据量的数据时,通常需要较长的时间及耗费较多的计算资源。 从OBS上导入数据时,如下方法可以提升导入性能:将数据文件存储到OBS前,尽可能均匀地将文件切分成多个,文件的数量为DN的整数倍更适合。 在导入前后验证数据文件 从OBS导入数据时,首先将您的文件上传到OBS存储桶中,建议您列出存储桶的内容,然
操作系统要求 DataCheck兼容的操作系统如表4所示。 表4 兼容的操作系统 服务器 操作系统 版本 通用x86服务器 SUSE Linux Enterprise Server 11及以上 SUSE Linux Enterprise Server 11 SP1及以上 RHEL RedHat6
GaussDB(DWS)支持行列混合存储。当创建一个表时,可以选择表的存储格式为行存储或列存储。 行存储是指将表按行存储到硬盘分区上,列存储是指将表按列存储到硬盘分区上。默认情况下,创建的表为行存储。行存储和列存储的差异请参见图1。 图1 行存储和列存储的差异 上图中,左上为行存表,
GaussDB(DWS)支持行列混合存储。当创建一个表时,可以选择表的存储格式为行存储或列存储。 行存储是指将表按行存储到硬盘分区上,列存储是指将表按列存储到硬盘分区上。默认情况下,创建的表为行存储。行存储和列存储的差异请参见图1。 图1 行存储和列存储的差异 上图中,左上为行存表,
个区域,这个区域在安装时初始化并由一个目录组成,所有数据都存储在这个目录中,这个目录被称为数据目录,使用initdb创建。理论上来说一个服务器上可以在不同的端口启动多个实例,但是GaussDB(DWS)一次只能管理一个实例,启动和停止都是依赖于具体的数据目录。以后由于兼容的需要不排除引入实例名这个概念的可能。
ALTER SERVER 功能描述 增加、修改和删除外部服务器的定义。 现有外部服务器(server)可以从pg_foreign_server系统表查询。 注意事项 除系统管理员外,只有server的owner才可以进行Alter操作。 语法格式 修改外部服务的参数。 1 2 ALTER
通用文件访问函数 通用文件访问函数提供了对数据库服务器上的文件的本地访问接口。只有数据库集群目录和log_directory目录里面的文件可以访问。使用相对路径访问集群目录里面的文件,以及匹配log_directory配置而设置的路径访问日志文件。只有数据库系统管理员才能使用这些函数。
GTM相关参数 log_min_messages 参数说明:控制写到服务器日志文件中的消息级别。每个级别都包含排在它后面的所有级别中的信息。级别越低,服务器运行日志中记录的消息就越少。 当client_min_messages和log_min_messages取值相同时,其值所代表的级别不同。
GTM相关参数 log_min_messages 参数说明:控制写到服务器日志文件中的消息级别。每个级别都包含排在它后面的所有级别中的信息。级别越低,服务器运行日志中记录的消息就越少。 当client_min_messages和log_min_messages取值相同时,其值所代表的级别不同。
通用文件访问函数 通用文件访问函数提供了对数据库服务器上的文件的本地访问接口。只有数据库集群目录和log_directory目录里面的文件可以访问。使用相对路径访问集群目录里面的文件,以及匹配log_directory配置而设置的路径访问日志文件。只有数据库系统管理员才能使用这些函数。
方法进行合理的设计部署,最大化的使用系统资源,以提高数据导入性能。 OBS的数据导入性能,多数场景受限于网络的并发访问速率,因此在OBS服务器上最好部署多个桶,使用多桶并发导入,提高DN数据传输利用率。 并发导入场景,与单表导入相似,至少应保证I/O性能大于网络最大速率。 配置G
数据导入导出 从OBS导入数据到集群 本教程旨在通过演示将样例数据上传OBS,及将OBS的数据导入进GaussDB(DWS)上的目标表中,让您快速掌握如何从OBS导入数据到GaussDB(DWS)集群的完整过程。 GaussDB(DWS)支持通过外表将OBS上TXT、CSV、ORC、P
已准备表1所列的迁移工具:DSC、DataCheck。 DataCheck运行环境满足以下要求: 服务器:Linux或Windows服务器,支持64位操作系统。 JRE或JDK:系统已安装JRE 1.8。 网络环境:安装、运行DataCheck工具的服务器,需要与待连接的数据库的网络互通。 表1 迁移Hologres准备工具
在CDM管理控制台的“集群管理”页面,单击集群操作列的“作业管理”,选择“连接管理 > 驱动管理”。 单击“ORACLE”右侧的“上传”,选择Oracle驱动包(如果本地没有驱动包,请参照驱动包下载),单击“上传文件”。 在CDM管理控制台的“集群管理”页面,单击集群操作列的“作业管理”,选择“连接管理 > 新建连接”。
privileged users are not allowed to install the DSC for Linux. ”应如何处理? 答:拥有root权限的用户不得在Linux中安装和执行DSC。建议使用没有root权限的用户来安装和操作DSC。 问题2:如何配置DSC,以便Teradata支持GaussDB
步骤一:创建GaussDB(DWS)集群 创建3节点的GaussDB(DWS)集群,配置集群节点、存储容量、集群版本号等信息。 步骤二:上传数据到OBS桶 创建OBS桶,并将本地的csv格式数据上传到OBS桶。 步骤三:连接GaussDB(DWS)集群并导入数据进行分析 使用SQL编辑器连接GaussDB(
迁移流程结束后,用户可使用对比工具(例如BeyondCompare®)将输入文件与输出文件进行比较。为了简化对比过程,也可以先对源SQL文件进行格式化。 在Linux操作系统上运行以下命令以查看输出文件夹中的迁移文件。Windows操作系统不再赘述。 cd OUTPUT ls 显示类似以下信息: formattedSource
个。 GDS General Data Service,数据并行加载工具。向GaussDB(DWS)导入数据时,需要将此工具部署到源数据所在的服务器上,使DN可以通过该工具获取数据。 GIN索引 Generalized Inverted Index,通用倒排索引。作用为处理索引项
个表和索引上进行了多少次插入与更新操作、磁盘块的数量和元组的数量、每个表上最近一次执行清理和分析操作的时间等。可以通过查询系统视图pg_stats和pg_statistic查看统计数据。下面的参数设置服务器范围内的统计收集特性。 track_activities 参数说明:控制收
个表和索引上进行了多少次插入与更新操作、磁盘块的数量和元组的数量、每个表上最近一次执行清理和分析操作的时间等。可以通过查询系统视图pg_stats和pg_statistic查看统计数据。下面的参数设置服务器范围内的统计收集特性。 track_activities 参数说明:控制收