检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从GaussDB(DWS)集群导入数据到新集群 功能描述 通过在集群中创建Foreign Table的方式，实现在多个集群之间的关联查询和用来导入数据。 使用场景 将数据从一个GaussDB(DWS)集群导入到另外一个GaussDB(DWS)集群中。 多个集群之间的关联查询。 注意事项
据库中的表导入数据。 SQLException,IOException long copyIn(String sql, InputStream from, int bufferSize) 使用COPY FROM STDIN从InputStream中快速向数据库中的表导入数据。 SQLException
GDS导入数据时，脚本执行报错：out of memory 问题现象 在使用GDS导入数据时，脚本执行报错“out of memory”。 原因分析 使用copy命令或者导入数据时，源数据单行数据的大小超过1GB。 由于源文件中的格式符不成对出现，比如引号，文件格式异常导致系统识别的单行数据过大超过1GB。
停止GDS 操作场景 待导入数据成功后，停止GDS。 操作步骤 以gds_user用户登录安装GDS的数据服务器。 请根据启动GDS的方式，选择停止GDS的方式。 若用户使用“gds”命令启动GDS，请使用以下方式停止GDS。 执行如下命令，查询GDS进程号。 ps -ef|grep
MRS集群上的数据准备 从MRS导入数据到GaussDB(DWS)集群之前，假设您已经完成了以下准备工作： 已创建MRS集群。 在MRS集群上创建了Hive/Spark ORC表，且表数据已经存储到该表对应的HDFS路径上。 如果您已经完成上述准备，则可以跳过本章节。 为方便起见，以在MRS集群上创建Hive
hdfscfgpath=/MRS/8f79ada0-d998-4026-9020-80d6de2692ca,type=hdfs} (1 row) 父主题： 从MRS导入数据到集群
mkdir -p /input_data 将数据源文件上传至上一步所创建的目录中。 GDS并行导入支持CSV、TEXT格式的数据导入。请确保数据源文件符合格式要求。 父主题： 使用GDS从远端服务器导入数据
转换规则转换后入库，还是报错中止导入。 取值范围：true/on，false/off。 参数为true/on，则导入时遇到非法字符进行容错处理，非法字符转换后入库，不报错，不中断导入。 参数为false/off，导入时遇到非法字符进行报错，中断导入。 缺省值：false/off。
使用GDS从远端服务器上导入表数据到GaussDB(DWS)集群 教程指引 本教程旨在演示使用GDS（General Data Service）工具将远端服务器上的数据导入GaussDB(DWS)中的过程，帮助您学习如何通过GDS进行数据导入的方法。 GaussDB(DWS)支持
启动以上4个GDS，如果只测试TPC-DS或TPC-H数据，请根据后面的“#xxx”备注启动对应的GDS服务即可。 -d dir：保存有待导入数据的数据文件所在目录。 -p ip:port：GDS监听IP和监听端口。IP替换为ECS的内网IP，确保GaussDB(DWS)能通过此
gaussdb -h <DWS的内网IP> -U dbadmin -p 8000 -r -W <用户dbadmin密码>; 父主题： GDS方式导入
活列表的时间周期，默认为1800000，单位毫秒，“cnListRefreshSwitch=on”时生效。 JDBC支持证书吊销。 新增参数sslCrl吊销证书的路径，默认为空。 JDBC支持数据库连接重连。 新增参数autoReconnect，是否开启数据库连接自动重连，默认为false。
并行导入 GaussDB(DWS)提供了并行导入功能，以快速、高效地完成大量数据导入。介绍GaussDB(DWS)并行导入的相关参数。 raise_errors_if_no_files 参数说明：导入时是否区分“导入文件记录数为空”和“导入文件不存在”。raise_errors_
通过CDM将MySQL数据导入GaussDB(DWS)时出现字段超长，数据同步失败 问题现象 MySQL 5.x版本字段长度varchar(n)，用CDM同步数据到GaussDB(DWS)，同样设置长度为varchar(n) ，但是会出现字段超长，数据同步失败的问题。 原因分析 MySQL5
数据文件是否包含标题行（header）为默认值false，即导入时数据文件第一行被识别为数据。 设置导入容错性如下所示： 允许出现的数据格式错误个数（PER NODE REJECT LIMIT 'value'）为unlimited，即接受导入过程中所有数据格式错误。 将数据导入过程中出现的数据格式错误信息（LOG
并行导入 GaussDB(DWS)提供了并行导入功能，以快速、高效地完成大量数据导入。介绍GaussDB(DWS)并行导入的相关参数。 raise_errors_if_no_files 参数说明：导入时是否区分“导入文件记录数为空”和“导入文件不存在”。raise_errors_
解压压缩包得到证书文件。假设解压路径为“C:\”。 证书文件建议保存在英文路径，配置证书时需要根据实际情况指定路径，否则可能提示文件不存在。 打开“命令提示符”程序，切换到“C:\dws_ssl_cert\sslcert”路径下，执行以下两条命令，转化根证书并导入到trustStore中。
0'）的字符串 ，需在导入前去掉字符串中的'\0'。 处理方法 用sed命令替换0x00后，即可成功导入。 1 sed -i 's/\x00//g;' file 参数说明： -i表示在原文件直接替换。 s/表示替换。 /g表示全局替换。 父主题： 数据导入/导出
V100R008C00版本与DWS 1.3.X版本配套），否则可能会出现导入导出失败或导入导出进程停止响应等情况。因此请勿使用历史版本的GDS进行导入。 数据库版本升级后，请按照操作步骤中的办法下载GaussDB(DWS)软件包解压缩自带的GDS进行安装配置和启动。在导入导出开始时，GaussDB(DWS)也会
务器上的I/O资源均充足时，可以加大并发线程数。 GDS是根据导入事务并发数来决定服务运行线程数的。也就是说即使启动GDS时设置了多线程，也并不会加速单个导入事务。未做过人为事务处理时，一条INSERT语句就是一个导入事务。 --enable-ssl：启用SSL加密方式传输数据。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
