检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
VACUUM FULL一张表后,表文件大小无变化 问题现象 使用VACUUM FULL命令对一张表进行清理,清理完成后表大小和清理前一样大。 原因分析 假定该表的名称为table_name,对于该现象可能有以下两种原因: 表本身没有delete过数据,使用VACUUM FULL
执行导出数据示例 示例1:将表product_info_output的数据通过外表product_info_output_ext导出到数据文件中。 1 INSERT INTO product_info_output_ext SELECT * FROM product_info_output;
header(仅支持CSV,FIXED格式):确认数据文件是否包含标题行。 delimiter:确认数据文件中,字段间的分隔符。例如,以英文逗号分隔的。 encoding:数据源文件的数据编码格式。例如,为UTF-8。 eol:确认数据文件中,行间的换行符。例如,默认的换行符,如0x0D
character varying 出现数据格式错误的数据源文件名。 当GDS导入时,同时会包括对应GDS服务端的IP地址端口信息。 rownum bigint 在数据源文件中,出现数据格式错误的行号。 rawrecord text 在数据源文件中,出现数据格式错误的原始记录。 detail text
例如,在GaussDB(DWS)数据库中,创建一个format参数为text的只写外表,用于导出text文件。设置的参数信息如下所示: location 在规划导出数据中,通过获取数据源文件的OBS路径已经获取到数据源文件的OBS路径。 因此,设置参数“location”为: location 'obs
检查和调整分布列,避免导入大量数据后发现数据倾斜,调整成本高。 前提条件 GDS服务器和GaussDB(DWS)集群之间网络可以互通。 需要创建一个弹性云服务器作为GDS服务器。 创建的弹性云服务器与GaussDB(DWS)集群应处于同一区域、同一虚拟私有云和子网。 操作步骤 在
用于数据库整体的访问权限)信息。 操作步骤 准备ECS作为gsql客户端主机。 请参见下载客户端下载gsql客户端,并使用SSH文件传输工具(例如WinSCP工具),将客户端工具上传到一个待安装gsql的Linux主机上。 执行上传gsql操作的用户需要对客户端主机的目标存放目录有完全控制权限。
导出CSV、TXT数据到OBS 规划导出数据 创建OBS外表 执行导出 示例 父主题: 导出数据到OBS
创建外表 获取Hive的product_info_orc的文件路径。 登录MRS管理控制台。 选择“集群列表 > 现有集群”,单击要查看的集群名称,进入集群基本信息页面。 单击“文件管理”,选择“HDFS文件列表”。 进入您要导入到GaussDB(DWS)集群的数据的存储目录,并记录其路径。
> 首选项 >设置 >文件编码,设置Data Studio客户端字符编码为GBK。数据库编码和文件编码组合详细信息,请参考表1 支持的文件编码组合。 在Windows资源管理器中打开/查看导出的文件:对于使用UTF-8编码导出的文件,可双击查看,或右键单击文件并选择“打开”进行查看
解压压缩包得到证书文件。假设解压路径为“C:\”。 证书文件建议保存在英文路径,配置证书时需要根据实际情况指定路径,否则可能提示文件不存在。 打开“命令提示符”程序,切换到“C:\dws_ssl_cert\sslcert”路径下,执行以下两条命令,转化根证书并导入到trustStore中。
容量和对象/文件数量没有限制。 对象:是存储在OBS中的基本数据单位。用户上传的数据以对象的形式存储在OBS的桶中。对象的属性包括名称Key,Metadata,Data。 通常,将对象等同于文件来进行管理,但是由于OBS是一种对象存储服务,并没有文件系统中的文件和文件夹概念。为了
使用gsql元命令\COPY导入数据 本地文件 与直接使用SQL语句COPY不同,该命令读取/写入的文件只能是gsql客户端所在机器上的本地文件。 操作简单,适用于小批量数据入库。 使用COPY FROM STDIN导入数据 其他文件或数据库 使用Java语言开发应用程序时,通
BIGINT HDFS导出数据准备:HDFS导出准备即配置MRS,具体信息可参考《MapReduce服务用户指南》。 父主题: 导出ORC数据到OBS
停止GDS 操作场景 待导入数据成功后,停止GDS。 操作步骤 以gds_user用户登录安装GDS的数据服务器。 请根据启动GDS的方式,选择停止GDS的方式。 若用户使用“gds”命令启动GDS,请使用以下方式停止GDS。 执行如下命令,查询GDS进程号。 ps -ef|grep
gdsgrp gds_user 将数据源文件均匀分发至相应数据服务器的“/input_data”目录中。 修改每台数据服务器上数据文件及数据文件目录“/input_data”的属主为gds_user。以下以IP为192.168.0.90的数据服务器为例,进行操作。 chown -R gds_user:gdsgrp
单击“下一步”,单击“确定”。队列创建成功。 上传源数据到OBS桶。 已创建OBS桶,桶名自定义,例如dli-obs01(如果桶名已被占用,可设为dli-obs02,依次叠加),区域选择华北-北京四。 下载数据样例文件。 在OBS桶中,新建文件夹dli_order,并将下载好的数据文件上传到dli_order目录下。
SQL迁移 工具支持从Oracle到GaussDB(DWS)的迁移,包括模式、DML、查询、系统函数、PL/SQL等。 执行Oracle SQL迁移 执行以下命令设置源数据库、输入和输出文件夹路径、日志路径、应用程序语言和迁移类型: Linux操作系统: ./runDSC.sh --source-db
dfs_server 外表的外部服务器名称,这个server必须存在。外表通过设置外部服务器连接OBS/HDFS读取数据。 此处应参考创建外部服务器中创建的外部服务器名称填写。 OPTIONS参数 用于指定外表数据的各类参数,关键参数如下所示。 “format”:表示导出的数据文件格式,支持“orc”格式。
返回MRS集群页面,单击集群名称进入集群详情界面。 单击“文件管理 > HDFS文件列表”,在user/hive/warehouse/product_info_orc路径下查看导出的ORC格式文件。 GaussDB(DWS)导出ORC数据的文件格式规则如下: 导出至MRS(HDFS):从DN