检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
VACUUM FULL一张表后,表文件大小无变化 问题现象 使用VACUUM FULL命令对一张表进行清理,清理完成后表大小和清理前一样大。 原因分析 假定该表的名称为table_name,对于该现象可能有以下两种原因: 表本身没有delete过数据,使用VACUUM FULL
检查和调整分布列,避免导入大量数据后发现数据倾斜,调整成本高。 前提条件 GDS服务器和GaussDB(DWS)集群之间网络可以互通。 需要创建一个弹性云服务器作为GDS服务器。 创建的弹性云服务器与GaussDB(DWS)集群应处于同一区域、同一虚拟私有云和子网。 操作步骤 在
x86”或“Windows x64”,再单击“下载”,可以下载与现有集群版本匹配的Data Studio工具。 如果同时拥有不同版本的集群,单击“下载”时会下载与集群最低版本相对应的Data Studio工具。如果当前没有集群,单击“下载”时将下载到低版本的Data Studio工具。G
的用户数据及实现数据的高速导入。GDS需部署到数据服务器上。 数据量大,数据存储在多个服务器上时,在每个数据服务器上安装配置、启动GDS后,各服务器上的数据可以并行入库。GDS在各台数据服务器上的安装配置和启动方法相同,本节以一台服务器为例进行说明。 背景信息 GDS的版本需与集群版本保持一致(如:GDS
查看输出文件和日志 查看并验证输出文件 迁移流程结束后,用户可使用对比工具(例如BeyondCompare®)将输入文件与输出文件进行比较。为了简化对比过程,也可以先对源SQL文件进行格式化。 在Linux操作系统上运行以下命令以查看输出文件夹中的迁移文件。Windows操作系统不再赘述。
ODBC包及依赖的库和头文件 从管理控制台下载ODBC的软件包。 请参见下载JDBC或ODBC驱动。 Linux下的ODBC包 从软件包中获取,包名为dws_8.x.x_odbc_driver_for_xxx_xxx.zip。Linux环境下,开发应用程序要用到unixODBC提供的头文件(sql
需确保GDS版本和数据库内核版本都已经支持管道文件导入导出功能。 当外表参数auto_create_pipe设置为true时,GDS自动创建管道文件可能存在延迟,因此操作管道文件时建议先判断自动创建的管道文件是否存在,且是否为管道文件类型。 GDS管道文件的导入导出任务结束后会自动删除管道文件,但是手动终止任
> 首选项 >设置 >文件编码,设置Data Studio客户端字符编码为GBK。数据库编码和文件编码组合详细信息,请参考表1 支持的文件编码组合。 在Windows资源管理器中打开/查看导出的文件:对于使用UTF-8编码导出的文件,可双击查看,或右键单击文件并选择“打开”进行查看
101及以上集群版本支持在console控制台下载。 GDS工具包 GDS工具包是数据服务工具。用户可以使用GDS工具将普通文件系统中的数据文件导入到GaussDB(DWS)数据库中,GDS工具包需要安装在数据源文件所在的服务器上。数据源文件所在的服务器称为数据服务器,也称为GDS服务器。 下载客户端 表1 gsql下载地址
停止GDS 操作场景 待导入数据成功后,停止GDS。 操作步骤 以gds_user用户登录安装GDS的数据服务器。 请根据启动GDS的方式,选择停止GDS的方式。 若用户使用“gds”命令启动GDS,请使用以下方式停止GDS。 执行如下命令,查询GDS进程号。 ps -ef|grep
gdsgrp gds_user 将数据源文件均匀分发至相应数据服务器的“/input_data”目录中。 修改每台数据服务器上数据文件及数据文件目录“/input_data”的属主为gds_user。以下以IP为192.168.0.90的数据服务器为例,进行操作。 chown -R gds_user:gdsgrp
创建弹性云服务器ECS和数据仓库GaussDB(DWS) 创建弹性云服务器ECS 创建数据仓库GaussDB(DWS) 父主题: 测试方法
Studio启动后,会创建日志文件夹、Data Studio.log文件、Preferences文件夹、Preferences.prefs文件、Profile文件夹、connection.properties文件、Profiles.txt文件和security文件夹。 如果Data Studio
工具下载 命令行客户端(包含GDS工具包) 本章节各工具下载地址中的8.0.x、8.1.x、8.2.x等指的是集群版本,而非工具版本。 表1 gsql下载地址 操作系统类别 适用操作系统版本 下载地址 校验文件 Microsoft Windows Microsoft Windows
SSL认证模式。服务器端证书,私钥以及根证书已经默认配置完成。用户需要配置客户端的相关参数。 登录GaussDB(DWS)管理控制台,在左侧导航栏中,进入“连接客户端”页面。 在“下载驱动程序”区域,单击“下载SSL证书”进行下载。 图1 SSL证书下载 使用文件传输工具(例如W
SSL认证模式。服务器端证书,私钥以及根证书已经默认配置完成。用户需要配置客户端的相关参数。 登录GaussDB(DWS)管理控制台,在左侧导航栏中,进入“连接客户端”页面。 在“下载驱动程序”区域,单击“下载SSL证书”进行下载。 图1 SSL证书下载 使用文件传输工具(例如W
customer_address; OBS外表在设计上禁止往非空的路径下导出文件,但是在并发场景下会出现同一路径导出文件的情况,此时会发生异常。 异常场景:假如用户使用同一张表的数据并发导出到同一个OBS的外表,在一条SQL语句执行在OBS服务器上没有生成文件时,另一条SQL语句也执行导出,最终执行结果为两
Studio.log.1文件中。当Data Studio.log文件再次达到最大值,系统继续自动创建一个文件并另存为Data Studio.log.2。最新日志持续写入Data Studio.log文件。以此类推,此过程将一直持续,直到Data Studio.log.5文件达到最大值,该循环重新开始。Data
CREATE SERVER 功能描述 创建一个外部服务器。 外部服务器是存储HDFS集群信息、OBS服务器信息、DLI连接信息或其他同构集群信息的载体。 注意事项 默认只有系统管理员才可以创建外部服务器,否则需要对所使用的FOREIGN DATA WRAPPER授权,授权语法为:
创建MRS分析集群(选择Hive、Spark、Tez组件)。 通过将本地txt数据文件上传至OBS桶,再通过OBS桶导入Hive,并由txt存储表导入ORC存储表。 创建MRS数据源连接。 创建外部服务器。 创建外表。 通过外表导入DWS本地表。 创建MRS分析集群 登录华为云控制台,选择“大数据