检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可以先通过OBS上的数据准备中的2获取数据源文件的完整的OBS路径，该路径为OBS服务的终端节点（Endpoint）。 “totalrows”：可选参数。该参数不是导入的总行数。由于OBS上文件可能很多，执行analyze可能会很慢，通过“totalrows”参数，让用户来设置一个预估的值，使优化器能通过
GDS导入失败后，磁盘占用空间增大 问题背景与现象 使用GDS导入数据失败，触发作业重跑。重新开始数据导入，完成导入作业后查看磁盘空间，发现磁盘占用空间比导入数据量大很多。 原因分析 在导入数据失败后，占用的磁盘空间没有释放。 解决办法 检测GDS导入作业的日志，查看是否有执行失败的现象。
2 为导入用户设置OBS桶的读取权限。 在从OBS导入数据到集群时，执行导入操作的用户需要取得数据源文件所在OBS桶的读取权限。通过配置桶的ACL权限，可以将读取权限授予指定的用户账号。 具体请参见《对象存储服务控制台指南》中的配置桶ACL章节。 父主题： 从OBS导入CSV、TXT数据
创建GDS外表并导入TPC-H数据 本文介绍如何通过GDS外表导入TPC-H 1000x数据，表1列出了TPC-H测试数据集中的表数据行数。 TPC-DS请跳过本章节。 表数据行数 表1 TPC-H 序号 表名 行数 1 region 5 2 nation 25 3 supplier
db/product_info_orc/”目录中。 如果数据文件已经在OBS上了，请执行获取源数据的OBS路径并设置读取权限中的步骤。 本小节以导入ORC格式为例，CARBONDATA数据的导入方法与ORC格式相似。 原始数据 假设您已将2个ORC数据文件存储在OBS上，其原始数据分别如下： 数据文件“product_info
创建GDS外表并导入TPC-DS数据 本文介绍如何通过GDS外表导入TPC-DS 1000x数据，表1列出了TPC-DS测试数据集中的表数据行数。 TPC-H请跳过本章节。 表数据行数 表1 TPC-DS 序号 表名 行数 1 customer_address 6,000,000
86客户端。 单击“下载”。 将GDS工具包上传至ECS的/opt目录中，本例以上传Euler Kunpeng版本的工具包为例。 在工具包所在目录下，解压工具包。 1 2 cd /opt/ unzip dws_client_8.1.x_euler_kunpeng_x64.zip
V100R008C00版本与DWS 1.3.X版本配套），否则可能会出现导入导出失败或导入导出进程停止响应等情况。因此请勿使用历史版本的GDS进行导入。 数据库版本升级后，请按照操作步骤中的办法下载GaussDB(DWS)软件包解压缩自带的GDS进行安装配置和启动。在导入导出开始时，GaussDB(DWS)也会
secret_access_key=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx} (1 row) 父主题： 从OBS导入ORC、CARBONDATA数据
的结果，在高精度要求场景下建议使用DECIMAL类型代替。 兼容Teradata数据库模式下，外表不支持DATE类型。 父主题： 从OBS导入ORC、CARBONDATA数据
gaussdb -h <DWS的内网IP> -U dbadmin -p 8000 -r -W <用户dbadmin密码>; 父主题： GDS方式导入
查询结果显示与原始数据显示相同，则表示导入成功。查询结果的结尾将显示以下信息： 1 (10 rows) 通过外表查询到数据后，用户可以将数据插入数据库的普通表。 导入数据后查询数据 在GaussDB(DWS)数据库中，创建导入数据的目标表，用于存储导入的数据。 该表的表结构必须与创建
使用开源Kettle导入数据 Kettle是一款开源的ETL工具，通过Kettle工具可以完成数据的抽取、转换、装入和加载。 海量数据搬迁场景下，使用Kettle自身提供的数据入库插件，入库速度在1500条/秒左右，数据搬迁耗时较高。而相同运行环境下，使用集成dws-client
从GaussDB(DWS)集群导入数据到新集群 功能描述 通过在集群中创建Foreign Table的方式，实现在多个集群之间的关联查询和用来导入数据。 使用场景 将数据从一个GaussDB(DWS)集群导入到另外一个GaussDB(DWS)集群中。 多个集群之间的关联查询。 注意事项
使用该命令进行数据的导入/导出。但是与SQL的COPY命令不同，该命令读取/写入的文件是本地文件，而非数据库服务器端文件；所以，要操作的文件的可访问性、权限等，都是受限于本地用户的权限。 说明： \COPY只适合小批量，格式良好的数据导入，容错能力较差。导入数据应优先选择GDS或COPY。
GDS导入数据时，脚本执行报错：out of memory 问题现象 在使用GDS导入数据时，脚本执行报错“out of memory”。 原因分析 使用copy命令或者导入数据时，源数据单行数据的大小超过1GB。 由于源文件中的格式符不成对出现，比如引号，文件格式异常导致系统识别的单行数据过大超过1GB。
当完成本教程的示例后，如果您不再需要使用本示例中创建的资源，您可以删除这些资源，以免资源浪费或占用您的配额。 删除外表和目标表 （可选）如果执行了导入数据后查询数据，请执行以下命令，删除目标表。 1 DROP TABLE product_info; 执行以下命令，删除外表。 1 DROP
据库中的表导入数据。 SQLException,IOException long copyIn(String sql, InputStream from, int bufferSize) 使用COPY FROM STDIN从InputStream中快速向数据库中的表导入数据。 SQLException
并行导入 GaussDB(DWS)提供了并行导入功能，以快速、高效地完成大量数据导入。介绍GaussDB(DWS)并行导入的相关参数。 raise_errors_if_no_files 参数说明：导入时是否区分“导入文件记录数为空”和“导入文件不存在”。raise_errors_
mkdir -p /input_data 将数据源文件上传至上一步所创建的目录中。 GDS并行导入支持CSV、TEXT格式的数据导入。请确保数据源文件符合格式要求。 父主题： 使用GDS从远端服务器导入数据
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
