检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行导出数据示例 示例1:将表product_info_output的数据通过外表product_info_output_ext导出到数据文件中。 1 INSERT INTO product_info_output_ext SELECT * FROM product_info_output;
ODBC包及依赖的库和头文件 从管理控制台下载ODBC的软件包。 请参见下载JDBC或ODBC驱动。 Linux下的ODBC包 从软件包中获取,包名为dws_8.x.x_odbc_driver_for_xxx_xxx.zip。Linux环境下,开发应用程序要用到unixODBC提供的头文件(sql
需确保GDS版本和数据库内核版本都已经支持管道文件导入导出功能。 当外表参数auto_create_pipe设置为true时,GDS自动创建管道文件可能存在延迟,因此操作管道文件时建议先判断自动创建的管道文件是否存在,且是否为管道文件类型。 GDS管道文件的导入导出任务结束后会自动删除管道文件,但是手动终止任
使用GDS从远端服务器导入数据 关于GDS并行导入 准备源数据 安装配置和启动GDS 创建GDS外表 执行导入数据 处理导入错误 停止GDS GDS导入示例 父主题: 导入数据
header(仅支持CSV,FIXED格式):确认数据文件是否包含标题行。 delimiter:确认数据文件中,字段间的分隔符。例如,以英文逗号分隔的。 encoding:数据源文件的数据编码格式。例如,为UTF-8。 eol:确认数据文件中,行间的换行符。例如,默认的换行符,如0x0D
VACUUM FULL一张表后,表文件大小无变化 问题现象 使用VACUUM FULL命令对一张表进行清理,清理完成后表大小和清理前一样大。 原因分析 假定该表的名称为table_name,对于该现象可能有以下两种原因: 表本身没有delete过数据,使用VACUUM FULL
例如,在GaussDB(DWS)数据库中,创建一个format参数为text的只写外表,用于导出text文件。设置的参数信息如下所示: location 在规划导出数据中,通过获取数据源文件的OBS路径已经获取到数据源文件的OBS路径。 因此,设置参数“location”为: location 'obs
character varying 出现数据格式错误的数据源文件名。 当GDS导入时,同时会包括对应GDS服务端的IP地址端口信息。 rownum bigint 在数据源文件中,出现数据格式错误的行号。 rawrecord text 在数据源文件中,出现数据格式错误的原始记录。 detail text
检查和调整分布列,避免导入大量数据后发现数据倾斜,调整成本高。 前提条件 GDS服务器和GaussDB(DWS)集群之间网络可以互通。 需要创建一个弹性云服务器作为GDS服务器。 创建的弹性云服务器与GaussDB(DWS)集群应处于同一区域、同一虚拟私有云和子网。 操作步骤 在
用于数据库整体的访问权限)信息。 操作步骤 准备ECS作为gsql客户端主机。 请参见下载客户端下载gsql客户端,并使用SSH文件传输工具(例如WinSCP工具),将客户端工具上传到一个待安装gsql的Linux主机上。 执行上传gsql操作的用户需要对客户端主机的目标存放目录有完全控制权限。
创建外表 获取Hive的product_info_orc的文件路径。 登录MRS管理控制台。 选择“集群列表 > 现有集群”,单击要查看的集群名称,进入集群基本信息页面。 单击“文件管理”,选择“HDFS文件列表”。 进入您要导入到GaussDB(DWS)集群的数据的存储目录,并记录其路径。
使用gsql元命令\COPY导入数据 本地文件 与直接使用SQL语句COPY不同,该命令读取/写入的文件只能是gsql客户端所在机器上的本地文件。 操作简单,适用于小批量数据入库。 使用COPY FROM STDIN导入数据 其他文件或数据库 使用Java语言开发应用程序时,通
导出CSV、TXT数据到OBS 规划导出数据 创建OBS外表 执行导出 示例 父主题: 导出数据到OBS
> 首选项 >设置 >文件编码,设置Data Studio客户端字符编码为GBK。数据库编码和文件编码组合详细信息,请参考表1 支持的文件编码组合。 在Windows资源管理器中打开/查看导出的文件:对于使用UTF-8编码导出的文件,可双击查看,或右键单击文件并选择“打开”进行查看
容量和对象/文件数量没有限制。 对象:是存储在OBS中的基本数据单位。用户上传的数据以对象的形式存储在OBS的桶中。对象的属性包括名称Key,Metadata,Data。 通常,将对象等同于文件来进行管理,但是由于OBS是一种对象存储服务,并没有文件系统中的文件和文件夹概念。为了
解压压缩包得到证书文件。假设解压路径为“C:\”。 证书文件建议保存在英文路径,配置证书时需要根据实际情况指定路径,否则可能提示文件不存在。 打开“命令提示符”程序,切换到“C:\dws_ssl_cert\sslcert”路径下,执行以下两条命令,转化根证书并导入到trustStore中。
gdsgrp gds_user 将数据源文件均匀分发至相应数据服务器的“/input_data”目录中。 修改每台数据服务器上数据文件及数据文件目录“/input_data”的属主为gds_user。以下以IP为192.168.0.90的数据服务器为例,进行操作。 chown -R gds_user:gdsgrp
BIGINT HDFS导出数据准备:HDFS导出准备即配置MRS,具体信息可参考《MapReduce服务用户指南》。 父主题: 导出ORC数据到OBS
停止GDS 操作场景 待导入数据成功后,停止GDS。 操作步骤 以gds_user用户登录安装GDS的数据服务器。 请根据启动GDS的方式,选择停止GDS的方式。 若用户使用“gds”命令启动GDS,请使用以下方式停止GDS。 执行如下命令,查询GDS进程号。 ps -ef|grep
dfs_server 外表的外部服务器名称,这个server必须存在。外表通过设置外部服务器连接OBS/HDFS读取数据。 此处应参考创建外部服务器中创建的外部服务器名称填写。 OPTIONS参数 用于指定外表数据的各类参数,关键参数如下所示。 “format”:表示导出的数据文件格式,支持“orc”格式。