检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行以下SQL,从OBS外表导入数据到源DWS集群。导入时间预计2分钟,请等待。 如果出现导入错误,则是因为上面的外表AK值、SK值有误导致,请执行DROP FOREIGN TABLE order01;删除外表后,重新创建外表,再重试执行以下语句导入数据。 1 INSERT INTO
avg_datapage_per_node bigint 平均每个node产生的数据页量,单位是Byte。 query Text 当前执行的语句。 行存不带索引批量导入时,数据页copy导入会产生logical newpage相关的xlog日志,在xlog量大于默认值时同样会触发流控。 应用示例 查询集群当前正在执行
Studio.ini文件是否正确配置。 当用户通过SSL证书尝试和另一服务器建立连接时,为什么连接成功了? 解答:如果不同服务器使用相同SSL证书,那么第二次连接应成功,因为证书会缓存。 当用户通过不同的SSL证书尝试和另一服务器建立连接时,由于证书不匹配连接失败。 当用户右键单击过程并在
纯文本格式 自定义归档格式 目录归档格式 tar归档格式 纯文本格式数据文件导入请参见使用gsql元命令\COPY导入数据。 自定义归档格式、目录归档格式和tar归档格式数据文件导入请参见使用gs_restore导入数据。 模式级导出。 导出模式的全量信息。 仅导出模式中数据。 仅导出
zip”,并安装“psqlodbc.msi”。 解压SSL证书压缩包,并准备证书文件。 用户可以根据实际情况选择自动或手动部署方法: 自动部署: 双击“sslcert_env.bat”文件,即可完成证书的默认位置的部署。 该sslcert_env.bat为了保证证书环境的纯净,在%APPDATA%\
复校正,有助于在部署运行GDS时提前发现潜在问题,提高执行成功率。 注意事项 执行脚本前需设置环境变量,可参考《开发指南》中“导入数据>通过外表并行导入>安装配置和启动GDS”章节。 脚本需要在python 3环境下运行。 必须在root用户下执行脚本。 必须指定-t、--host参数。
session_timeout设置导致JDBC业务报错 问题现象 通过JDBC连接集群执行COPY导入时报错: org.postgresql.util.PSQLException: Database connection failed when starting copy at org
SQLSTATE: 42601 错误原因:null导入参数设置为空格或者问号,同时又将compatible_illegal_chars设置为true,标识导入非法字符兼容。由于导入非法字符兼容会将非法字符转换为空格或者问号,所以会与null参数混淆引发潜在的导入错误。 解决办法:将null设置为
ONLY foreign table" SQLSTATE:无 错误原因:自定义换行符不能用于非TEXT格式的copy导入或只读外表。 解决办法:请检查copy导入或只读外表的设置的文件格式,确保为TEXT格式。 GAUSS-05163: "EOL specification can
partition %s" SQLSTATE: XX000 错误原因:分区表导入过程中下盘缓存文件创建失败。 解决办法:检查是否当前系统的文件数达到了最大值,检查当前系统是否有足够的存储空间用以创建分区表导入时的临时文件。 GAUSS-04752: "error write temp
停止GDS 操作场景 待导入数据成功后,停止GDS。 操作步骤 以gds_user用户登录安装GDS的数据服务器。 请根据启动GDS的方式,选择停止GDS的方式。 若用户使用“gds”命令启动GDS,请使用以下方式停止GDS。 执行如下命令,查询GDS进程号。 ps -ef|grep
(DWS)安装包中的SSLCERT的证书包解压,双击“sslcert_env.bat”文件,即可完成证书的默认位置的部署。 该sslcert_env.bat为了保证证书环境的纯净,在%APPDATA%\postgresql目录存在时,会提示是否需要移除相关目录。如果有需要,请备份该目录中的文件。
默认值:16MB。 -t worker_num 设置导入导出工作并发线程数目。 取值范围:0<worker_num≤200,正整数。 默认值:8。 推荐值:普通文件导入导出场景取值:CPU核数*2;管道文件导入导出场景取值:64。 当管道文件导入导出场景并发较大时,该值应不低于业务并发数。
import module: %s." SQLSTATE: 无 错误原因:系统环境默认使用python2执行工具,与期望使用的Python3不符,导致导入模块时报错:缺少python依赖的库。 解决办法:请联系技术支持工程师提供技术支持。 GAUSS-52201: "The current python
(DWS)安装包中的SSLCERT的证书包解压,双击“sslcert_env.bat”文件,即可完成证书的默认位置的部署。 该sslcert_env.bat为了保证证书环境的纯净,在%APPDATA%\postgresql目录存在时,会提示是否需要移除相关目录。如果有需要,请备份该目录中的文件。
Hudi任务同步 创建Hudi任务 迁移场景 如果GaussDB(DWS)表已经通过CDL导入数据,改为用SQL on Hudi方式迁移数据。或者使用CDM做全量初始化后,继续使用SQL on Hudi方式同步增量数据。 创建hudi.hudi_sync_state同步状态表,需要管理员权限。
多样化的数据导入方式 GaussDB(DWS)支持多数据源高效入库,典型的入库方式如下所示。详细指导请参见迁移数据到GaussDB(DWS)章节。 从OBS并行导入数据 使用GDS从远端服务器导入数据 从MRS导入数据到集群 从GaussDB(DWS)集群导入数据到新集群 使用gsql元命令\COPY导入数据
AL日志段文件数量。每个日志文件大小为16MB。 参数类型:SIGHUP 取值范围:整型,最小值1 默认值:64 提升此参数可加快大数据的导入速度,但需要结合checkpoint_timeout、shared_buffers这两个参数统一考虑。这个参数同时影响WAL日志段文件复用
由于DWS的表定义结构与Oracle存在差异,需要手动修改转换后的表定义。 如下,将文件中的\echo整体注释掉(如果使用gsql工具导入表定义的话,不需要注释),同时手动修改指定表的分布列(distribute by hash (列名))。 修改前: 修改后: Hash分布
采取分片生成的策略。 Tpcds 1000X数据文件总大小约930GB,请确认ECS的磁盘空间足够。 由于生成的数据较大,只启动一个GDS导入数据会比较慢,建议均分两个数据盘来生成数据,如下示例,1-5分片存放至/data1/script/tpcds-kit/tpcds1000X