检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用COPY FROM STDIN导入数据 关于COPY FROM STDIN导入数据 CopyManager类简介 处理错误表 示例1:通过本地文件导入导出数据 示例2:从MY迁移数据 父主题: 导入数据
教程和最佳实践 教程:使用GDS从远端服务器导入数据。通过一个导入任务帮您了解GDS导入的全过程。 GDS导入最佳实践给出了可以最大化利用系统资源,提高导入性能的方法,建议在开展数据导入前阅读以进行合理的导入方案规划和设计部署。 父主题: 通过外表并行导入
\COPY只适合小批量、格式良好的数据导入,不会对非法字符做预处理,也无容错能力,无法适用于含有异常数据的场景。导入数据应优先选择COPY。 通过INSERT语句直接写入数据 使用COPY FROM STDIN导入数据 使用gsql元命令导入数据 更新表中数据 深层复制 分析表 对表执行VACUUM
使用COPY FROM STDIN导入数据 关于COPY FROM STDIN导入数据 CopyManager类简介 示例1:通过本地文件导入导出数据 示例2:从MySQL进行数据迁移 父主题: 导入数据
通过外表并行导入 关于并行导入 教程和最佳实践 准备源数据 安装配置和启动GDS 创建GDS外表 执行导入数据 处理错误表 停止GDS 示例 父主题: 导入数据
传输数据,默认不输入时为开启,不使用该参数时需输入--ssl-dir指定SSL证书路径。 --ssl-dir:SSL证书所在目录。需与7中的证书保存目录保持一致。 父主题: 教程:使用GDS从远端服务器导入数据
索引,在数据导入过程中,将增量更新索引信息,影响数据导入性能。建议在执行数据导入前,先删除目标表的索引。在数据导入完成后,再重新创建索引。 假定在导入表“product_info”上的“product_id”字段上存在普通索引“product_idx”。在执行数据导入前,请先删除相关索引。
示例 示例1:Normal策略导入 示例2:Shared策略导入 示例3:Private策略导入 父主题: 通过外表并行导入
mkdir -p /input_data 将数据源文件上传至上一步所创建的目录中。 GDS并行导入支持CSV、TEXT和FIXED格式的数据导入。请确保数据源文件符合格式要求。 父主题: 通过外表并行导入
停止GDS 操作场景 待导入数据成功后,停止GDS。 操作步骤 以gds_user用户登录安装GDS的数据服务器。 请根据启动GDS的方式,选择停止GDS的方式。 若用户使用“gds”命令启动GDS,请使用以下方式停止GDS。 执行如下命令,查询GDS进程号。 ps -ef|grep
数据导入导出 介绍导入导出的相关参数。 raise_errors_if_no_files 参数说明:设置导入时是否区分“导入文件记录数为空”和“导入文件不存在”。该参数开启时,“导入文件不存在”的时候,GaussDB将抛出“文件不存在”的错误。该参数可在PDB级别设置。 参数类型:布尔型
并行导入 GaussDB提供了并行导入功能,以快速、高效地完成大量数据导入。介绍GaussDB并行导入的相关参数。 raise_errors_if_no_files 参数说明:导入时是否区分“导入文件记录数为空”和“导入文件不存在”。raise_errors_if_no_file
并行导入 GaussDB提供了并行导入功能,以快速、高效地完成大量数据导入。介绍GaussDB并行导入的相关参数。 raise_errors_if_no_files 参数说明:导入时是否区分“导入文件记录数为空”和“导入文件不存在”。raise_errors_if_no_file
数据导入导出 介绍导入导出的相关参数。 raise_errors_if_no_files 参数说明:导入时是否区分“导入文件记录数为空”和“导入文件不存在”。raise_errors_if_no_files=TRUE,则“导入文件不存在”的时候,GaussDB将抛出“文件不存在的”错误。
非数据格式错误 对于非数据格式错误,一旦发生将导致整个数据导入失败。您可以根据执行数据导入过程中,界面提示的错误信息,帮助定位问题,处理错误表。 处理数据导入错误 根据获取的错误信息,请对照下表,处理数据导入错误。 表2 处理数据导入错误 错误信息 原因 解决办法 missing data
导入最佳实践 使用GDS导入数据 数据倾斜会造成查询表性能下降。对于记录数超过千万条的表,建议在执行全量数据导入前,先导入部分数据,以进行数据倾斜检查和调整分布列,避免导入大量数据后发现数据倾斜,调整成本高。详细请参见查看数据倾斜状态。 为了优化导入速度,建议拆分文件,使用多GD
非数据格式错误 对于非数据格式错误,一旦发生将导致整个数据导入失败。您可以根据执行数据导入过程中,界面提示的错误信息,帮助定位问题,处理错误表。 处理数据导入错误 根据获取的错误信息,请对照下表,处理数据导入错误。 表2 处理数据导入错误 错误信息 原因 解决办法 missing data
使用gsql元命令导入数据 gsql工具提供了元命令\copy进行数据导入。 \copy命令 \copy命令格式以及说明参见表1。 表1 \copy元命令说明 语法 说明 \copy { table [ ( column_list ) ] | ( query ) } { from
使用gsql元命令导入数据 gsql工具提供了元命令\copy进行数据导入。 \copy命令 \copy命令格式以及说明参见表1。 表1 \copy元命令说明 语法 说明 \copy { table [ ( column_list ) ] | ( query ) } { from
导入最佳实践 使用COPY命令导入数据 COPY命令从本地或其它数据库的多个数据源并行导入数据。COPY导入大量数据的效率要比INSERT语句高很多,而且存储数据也更有效率。 有关如何使用COPY命令的更多信息,请参阅使用COPY FROM STDIN导入数据。 使用gsql元命令导入数据